SD1.5 New Test Model (use epsilon-scaling) Training 2048px 32000step "EmoNAVI"
|推奨設定| ※ これはまだ訓練中のデモモデルです
epsilon-scaling：1.02 (A1111･forge 非対応／reforge等の最新版で対応可)、
960 x 1280px 以下(またはKohya-HiRESをつかう)
DPM++ 2M SDE SGM Uniform、 CFG：5、 Clip skip：2、
EmolutionVAE：モデル内蔵／EQ-VAE(SDXL) を微量混ぜた 840000 です
過去に作成した SD15 モデルを EmoNAVI にて実写画像を用いて学習しました。
解像度：2048px の学習により高解像域は 1280px くらいまで実用可になりました。
(ただし epsilon-scaling を使用してください／さらに高解像度は Kohya-HiRES で可)
e-pred ながら ZtSNR を適用し、漆黒･純白も出せます、色域も拡大しています。
VAE も 840000(デフォルト) に対し SDXLのEQ-VAEを微量マージして統合しています。
学習時もこの新VAEを用いています。
SDXL の Clip-Gパディング問題 等を回避し、VRAM負荷の少ない環境を残す、
そのために SD15 を再び活用する取り組みです。
|学習概要| 概要は以下のとおりです
旧Emolutionモデル(fp8読み込み)、EmoNAVI(constant)、5e-5、bf16、2048px、
EmolutionVAE (SDXL：EQ-VAE を微量混ぜた 840000)、全層LoRA(c3lier)、
e-pred、ZtSNR(Debiased-Estimation)、Huber-SNR、R16･8／A16･8、
※ EmoNAVI 使用で、動的Rank、動的Alpha、的な、SVD系上位互換になります
今後、APU(内蔵GPU)、NPU、モバイル環境などで画像生成したい方のために、
SD15環境は重要になるかもしれないので、主に高解像度化を進める取り組みです。
過去のSD15登場時と違う現在の学習手法等でSD15をアップデートします。
この取り組みにご賛同いただける方はぜひ"いいね"等でご協力ください。
学習についてご協力くださる方は学習概要を参考にLoRA等を制作してください。
EmoVAE については https://civarchive.com/posts/23602506 をまずご確認ください
これで視覚的には、560000VAE と 840000VAE の中間でイイトコ取りと思います。
拡大し見て欲しいのは、明部は 56寄り、暗部は 84寄りで、色域が拡大しています
画面左にある本棚の書籍の白い部分の文字らしきものについても比較してください
56VAEは文字らしきものが薄く消失し、EmoVAEおよび84VAEは微細さを保ちます
画面右下部ベッドかソファの横側の模様ぽいものについても注目してください
84VAEは灰色が強く模様が消えかかり、EmoVAEおよび56VAEは微細さを保ちます
このように得意･不得意はありますので、あとは好みでVAEを選択してください。
Description
FAQ
Comments (5)
I'm very happy about the new technology in SD1.5, but I find the explanations difficult to understand.
EmoNAVI:
An optimizer (an improved version of ADAM) used during model training. It was used in this model. Those who only generate images don't need to worry about it.
ZtSNR:
Think of this as a learning technology that was a hot topic in SDXL, preventing image colors from becoming washed out. While a noise prediction method called v-pred was previously required, it seems that the traditional method (epsilon-pred) can now be used as well.
epsilon-scaling:
A new node for ComfyUI that improves image quality (?). It's not a custom node, but is found in the standard node library (requires updating). A1111 is not supported. Forge Classic is supported. How effective is it? The image changes slightly, but it's difficult to tell whether it's an improvement or not.
EmolutionVAE:
A customized VAE. It's easy to use in ComfyUI, and can be saved separately. The resulting image is almost identical to vaeFtMse840000Ema_v100. The colors become slightly brighter and lighter. When you look at the histogram, the peaks tend to become smaller and the values tend to be concentrated at the maximum value.
aueki4g467 さん、Thanks for your comment,
I appreciate your suggestion. I've also included some information to inform those interested in working on this model about the training status. Regarding ZtSNR, standard optimizers tend to diverge, but this is possible only with emonavi. e-scaling can be applied with the latest version of reforge, and I've added that a scaling value of around 1.02 seems appropriate. EmoVAE uses a special method to extract only features from an SDXL custom VAE trained with EQ prediction, and then merges them minutely. In comparing several images, I feel that the gradation in dark areas has been refined, making it easier to capture the subtle details of the entire image. I expect the same will be true for the latent cache. This means that training accuracy should improve.
コメントありがとう！ご提案を頂き感謝します。 このモデルの取り組みに関心を持つ方に、学習状況を伝えるために記載した項目もあります。ZtSNRについては通常のoptimizerでは発散しやすいです、これは emonavi だからこそ適用できます。e-scaling は、最新の reforge等で適用可です、スケーリング値：1.02くらいが適切だと思うので追記します。EmoVAEは、EQ予測で訓練されたSDXLカスタムVAEを特殊手法で特徴のみ抽出し微量マージしました。いくつかの画像比較では暗部の階調が細分化し、画像全体の微細表現を得やすくなったと感じています。予想ではLatentキャッシュも同様だろうと考えます。つまり学習精度が向上するはずです。
@muooon 個人的にはこのVAEの挙動はよろしくないと思います。全体的な方針に反するかのように色は浅くなります。最大値で固定されるピクセルが多いのはどこかに間違いがあるような気がします
aueki4g467 さん、いろいろ詳しく教えてくださり、続いてヒストグラムによる解析も頂き感謝します。まずご投稿を頂いた画像は確かにご懸念のとおりです、同意します。ただこれモデル側の問題かVAE側の問題かどう切り分けたら良いでしょうか。こちら https://civitai.com/posts/23601848 を見て欲しいのですが、生成情報にもあるとおり、このモデルで学習した新しいLoRAを適用して、ヒストグラムは正常に見えます。そうなるとVAEではなくモデルが過学習傾向か何かで白モヤ状態なのかなとも思えます。そして新しいLoRAはそれを解消するのかな、とも思えます。お時間を割いて頂いてのご協力に感謝します、ありがとうございました。
それとサンプル画像のヒストグラムもいくつか見てみて正常でした。もしかすると特定seedに過学習傾向等があるのかもしれません (現在：e-scaling：1.02 です) また何かお気づきのことがあれば教えて頂けると有難いです。