気に入ったAIイラストからオリジナルの画風LoRAを作ります
開始: 2026/02/26
新しいあいぶらり画風模索のため、作成したイラストを元にオリジナルの画風LoRAを作った時の作業メモです。
本作業ログに掲載されている画像はブログに掲載する用のサンプルとして作り直したものですが、普段使っているオリジナル画風LoRAも同じ手順で作成していますので実績はあります。
本ログの一番の主役はとりにくさんが公開してくださっている「CoppyLora_webUI」です。こちらはコピー機学習法と呼ばれている差分学習手法を簡単に実施できるツールで、「目標の画風で作成したイラスト」と「目標の真逆の画風の画像」の2枚を入力するだけで、両者の差分を抽出しLoRA化するという手順を自動的に行ってくれます。
簡単に画風LoRAが作れる『CoppyLora_webUI』Google colabノートブックとローカルビルド版（改）全体公開！｜とりにく
【はじめに】 簡単に言うと1枚のイラストを描くだけで、自分の絵柄でラフを線画化できる追加学習モデル（所謂Lora）が作れます。（カラーイラストやモノクロ陰影イラスト画風も学習できます） もちょ(@motyotyo__)様からご提供いただいたイラスト（1枚目）で学習した線画Loraで、私の描いたラフ（2枚目）を清書（3枚目）してみました 私の絵柄LoRAだと4枚目になる さっき投稿したのは普通に別のモデル使っていたので訂正 pic.twitter.com/GHrVBM1bse — とりにく (@tori29umai) June 27, 2024 ちなみに同じ手法でAI-As
https://note.com/tori29umai/n/ne9aaba44e68b 以前は支援者限定に公開されていたツールでしたが、現在はメンテナンス終了ということで全体公開となっています。とてもありがとうございます。正直なところ、こちらのNoteを見れば手順はすべて書いてあるので、この作業ログは不要です。でも自分の記録なので書きます。
こちらの神ツール以外では、学習のターゲットとなる好みの画像を作成するためにイラストAI（SD系、Flux系）や画像編集ソフト（Affinity系）を使用しています。
今回の目標となる画風を決めます。ここは完全に個人の好みです。癖を出していきましょう！
私の投稿物を見ていただけるとわかると思うのですが、私は比較的情報量が少ない画風が好みです。特にイラスト系AIは画風の情報量が多く、疲れてしまいます…というわけで今回は「フラットな塗りで色合いが薄く、シンプルな画風」を目指したいと思います。
目標の画風が決まったので、その画風に合わせて学習の目標となるイラストを作成します。
目標の画風を作成するためにいくつかの方法が考えられますが、段ボールのタグを並べる系のモデルを使用するのであれば、まずは段ボールの画風系タグを確認するのがいいと思います。画風系タグは一覧でまとめられているため、そのページを確認してみてください。
このページや、このページのリンク先から、使用できそうなタグを拾ってきて羅列したり、重みを調整することで学習ターゲットとなる画像を作成していきます。
今回の目標画風で言うと、フラットで薄い塗り flat color にしつつアニメ塗りとは違うと思ったので (anime coloring:-0.5), (oil painting \(medium\):0.75) を入れて、そうするとリアル調が強かったので (realistic:-1) を入れて調整…という感じで羅列していきました。
何回か出力して、自分の癖レーダーに引っかかるかをチェック、微妙だった箇所を改善するために新しいタグを追加したり、重みを変えたりします。いくつか試したところ、画材系タグを入れるとより作りたい画風に近づきやすくなる気がしました。
そして出来上がったのが下記のプロンプト（画風関連のタグのみ抜粋）です。
black hair, (gradient hair:-1), white shirt, (flat colors:1.5), sketch, (graphite (medium):1), (oil painting (medium):0.75), (anime coloring:-0.5) (realistic:-1), pastel colors, (monochrome:-0.5), millipen (medium), (white background:2), 今回は使用していませんが色や影なども画風に大きく関わってくるところだと思うので必要に応じて入れてみてください。
大枠で満足できるものが出力できたら、細かい部分は画像編集で調整してもいいと思います。今回も何枚も出力して編集ソフトで調整、そして再出力…という感じで試行錯誤しました。というわけで、完成した学習元画像がこちらです。
使用しているモデルによっては、同じプロンプトでも下記のように大きく出力が変わるので、辛抱強く試行錯誤してください。
今回はほぼ無地の背景にしていますが、背景も含めて学習させるのであれば、背景とキャラクターを別に調整して合成してみるのもいいと思います。学習元画像をちゃんと作ることが、LoRAの精度に直結するので丁寧に作ってみてください。
学習目標の画風ができたので、差分をとるための真逆画風を作成します。何をもって真逆とするかは難しいところですが「もう実写の人間にしてしまうのがイラストから一番真逆になるよね」…ということでターゲットイラストを実写に変換します。
Nano Bananaに代表される、最近の画像編集ができる画像AIに「キャラクターを実写の人間に変換してください！」とお願いして作成してもらうのが簡単かと思います。今回はFluxくんに作ってもらいました。
上記が実写化された画像です。このままでも大丈夫と思いますが少しだけ調整します。
今回の学習手法は２枚の画像の差分を学習させるため、意図して変化させている部分以外は極力同じにしたいです。特に今回は画風を学習させたいので、ポーズや服装などが変わっていないことを確認します（半袖/長袖が変わっているのに気づかず１敗）。
もしキャラクターの位置がズレていたり服装が変わってしまっていると、それも「画風」と学習されてしまうため、画像編集ソフトなどで位置を合わせたり再出力してください。
準備が完了したので、最初にご紹介した「CoppyLora_webUI」で学習を開始します。今回はローカルビルド版で学習させてみました。インストールや操作の手順はとりにく様のnoteを確認してください。読み込んで名前を入れてボタンを押すだけです！
ローカル環境での学習が難しい場合は、とりにく様がGoogle Colab版も用意してくださっているので、そちらを活用するのがいいと思います。
今回、使用した端末には RTX 3060 (12GB) が搭載されていて、49分26秒で学習が完了しました。
いよいよ！LoRAが完成しました！
早速「うちのこちゃん」に協力してもらって出力してみたところ、下記のような結果になりました。
うん！フラットになっとる！少し手の位置が変わっていたり髪飾りの色が変わっていたりしますが、おおむね構図の変化もなく許容範囲かと思います。
無事LoRAができてしまいました。差分を作るだけで学習できるというお手軽手法なのに効果は抜群です。今回は画風の学習に使用しましたが、服装を変えたり、画像効果を加えてみたりと差分を取ることができれば色々な学習に応用できます。
私も色々と学習したLoRAをストックページに置いているので覗いてみてください！
今回作成したLoRAの重みをマイナスにして生成したものを掲載しておきます。
学習に使用した「真逆の画像」の方向を「逆の方向」としてちゃんと学習しているのが見えて面白いです。それだけです！