QPOLA optim による Moss-image の LoRA-FT モデル QPOLAmoss Base 版です、

他への無断転載防止のため buzz を求めます(最低 100buzz は、Civitaiの仕様／blue 可)
Civitai で公開されている誰かの画像に｢Good｣をつければすぐに青100獲得可です

最低限のキャプションで学習し Moss の豊富なアニメ知識をできるだけ残しています
real、photo、等のタグによる指示や、自然語の指示、でリアル化を強めます
｢QPOLA optim による微調整(FT･LoRA)のためマージ等はご注意ください｣
マージ等を行う場合、上記の注意を必ず表記し QPOLA について注意を促してください

謝辞：OpenMOSS の取り組みに心から感謝します

あなたの作例をご投稿ください、他の方の参考になりますし、
なによりボクが嬉しいです、今後のモチベーションになります
(画像はもちろん、動画もぜひ共有してください)

CCSVDメソッドとは？

CCSVD (Clean Covariance-Optimized SVD) 260915 by muooon
これは QPOLA optim の更新手法を静的重みへ応用しています

CCSVD： https://github.com/muooon/CCSVD-method
QPOLA： https://github.com/muooon/QPOLA

差分の抽出と個別クレンジング
ΔWᵢ₍ᶜˡᵉᵃⁿ₎ = rSVDᵣ ( clamp(ΔWᵢ, μᵢ - c · σᵢ, μᵢ + c · σᵢ) )

グラム行列 (共分散) によるホワイトニング
dᵢ = vec(ΔWᵢ₍ᶜˡᵉᵃⁿ₎) ∈ ℝᴰ、Gᵢⱼ = ⟨dᵢ, dⱼ⟩ = dᵢᵀ dⱼ、Gᵢₙᵥ = (G + εI)⁻¹、w = (K / (𝟏ᵀ Gᵢₙᵥ 𝟏)) Gᵢₙᵥ 𝟏

ベースモデルへの統合
ΔW₍ᶠⁱⁿᵃˡ₎ = b × Σᵢ₌₁ᴷ (wᵢ · ΔWᵢ₍ᶜˡᵉᵃⁿ₎)、W₍ᵐᵉʳᵍᵉᵈ₎ = W₍ᵇᵃˢᵉ₎ + ΔW₍ᶠⁱⁿᵃˡ₎

これを LoRA類 (LyCORIS含) 同士やモデルへの統合、モデル同士の統合に適用します
※ これは概要です、実施ではさらに細かい微調整等を行います
※ 統合時は L2ノルムによる相対差 を求めバラつきを抑制します

なぜ疑似フルランク更新になるのか？
QPOLA optim からわかることは｢空間整合性｣を得ることで、重みの自由度を適切に制限できることがわかります、
これを静的重みに対し、複数の seed、タスク、等を｢空間整合性｣で最適化すれば無理なく LoRA を統合できるはずです、
よって上記のように、seed、タスク、等の違いから生じるノイズや外れ値をきれいにすることで、
複雑なランドスケープを多方面から観察しフラットミニマへ至るフローを合成で得られることになります、
これはフルランク更新の自由度に近い空間特性を後付けで再現可能にするという考え方になります、

履歴

Base020 完成：QPOLA Optim v1.2.0 使用しています

アニメ側も3Dぽく変化していますが、これを画風といえるなら安定しています
つまり アニメ画風のLoRA作成 のベースに向いているかもしれません

※ 生成条件は以前と同じです

このモデルは v017 の改良版です (気になった部分を修正しました)
これを完成版とします (環境が整えばフルランク更新のベースにします)

※ マージ等に用いたときは、どうか上の注意文(オレンジ色)をご記載くださいね

Base017 最終：QPOLA Optim v1.2.0 使用しています

※ 生成条件は以前と同じです

このモデルは良くできたように思います
この先、ボクが更新をすると失敗すると予想します(よくあることですよね？)
つまりこれを最終版とさせてください(残念に思わずあなたが進化させてください)

※ マージ等に用いたときは、どうか上の注意文(オレンジ色)をご記載くださいね

Base011 初版：QPOLA Optim v1.2.0 使用しています
EulerSDE + Bong Tangent、8 step、CFG：3.0、Negative：可 (Turboを部分マージ済)
その他の生成条件は、moss-image 公式をご覧ください

lodestones：MOSS-Image-SFT-8-steps-dmd
akhaliq：MOSS-Image-SFT-4-steps

謝辞：作者の方々の探究心と取り組みに心から感謝します