差分学習機能追加

[u-haru]

学習開始前に学習済みのLoRAモデルを適用して、差分のみを学習するオプションを追加します。

• --base_modules: 差分学習用のベースモデル
• --base_modules_weight: 差分学習用のベースモデルの比重
  複数のモデルを適用できるようにはなっていますが、2つ以上適用した場合の効果は未検証です。

差分学習の効果についてはエマノンさんの記事(note.com/emanon_14/n/ne83063e33627)をご覧ください。

以下は私の検証です。適当に3Dのモデルを学習させました。

1枚目はそのまま学習、2枚目は3Dの画風を学習したモデルをweight=0.9で適用した上で学習したものです。
2枚目の画像は3Dっぽさがなくなっていると思われます。

[kohya-ss]

PRありがとうございます。素晴らしいですね。確認させていただきます。

[TingTingin]

when exactly would you want to use something like this? Im not clear on the effect that this has

[sdbds]

when exactly would you want to use something like this? Im not clear on the effect that this has

see here
https://rentry.co/kopiki_lora

[sdbds]

学習開始前に学習済みのLoRAモデルを適用して、差分のみを学習するオプションを追加します。

• --base_modules: 差分学習用のベースモデル
• --base_modules_weight: 差分学習用のベースモデルの比重
  複数のモデルを適用できるようにはなっていますが、2つ以上適用した場合の効果は未検証です。

差分学習の効果についてはエマノンさんの記事(note.com/emanon_14/n/ne83063e33627)をご覧ください。

以下は私の検証です。適当に3Dのモデルを学習させました。

1枚目はそのまま学習、2枚目は3Dの画風を学習したモデルをweight=0.9で適用した上で学習したものです。 2枚目の画像は3Dっぽさがなくなっていると思われます。

Negative weightを使ってもいいですか？

[u-haru]

Negative weightを使ってもいいですか？

Of course you can use negative weight, but i'm not sure how it would affect.
Just try it :)

[kohya-ss]

moduleという単語が「networkのモジュール名（networks.loraなど）」として使われているため、オプション名を変更させていただこうと思います。ご理解いただければ幸いです。

[u-haru]

なるほど、分かりました。
ありがとうございます。

[ymzlygw]

@u-haru Thanks for your work!
By the way, I want to train a lora using '差分学習機能', but I don't know how to write the caption of the image.
And how many repeats for the first train to get overfit and is the same reapeat number and epoch for the second train?
Looking forward to your reply!

[u-haru]

Hello, @ymzlygw !
I usually use WD1.4 tagger to write captions for both training. Trigger words can be used in second training.
It'd be better to prune some tags. Please follow LoRA Training Guide.

In terms of training data, I use approximately 10 to 50 images with several angles and white background for both training. I typically train with batch_size=2 for around 2000 to 3000 steps, but I think it would be better to train more steps on first training.
Training steps example:

Number of Images: 20
Repeats: 20
Epochs: 10
Batch size: 2
-> Train for 2000 steps

[ymzlygw]

LoRA Training Guide

Thanks! I'll try it later!