(日本語説明は後半にあります)
About this model
CAUTION : PLEASE DO NOT use Negative Prompts (or negative embedding). Otherwise it will reproduce worse quality outputs. If you need to exclude some elements, please use NegPiP extension. I'm currently investigating these issues.
"HotaruBreed XL" is pursuing "kawaii", cuteness. These checkpoints are trained with outputs of original HotaruBreed series (for SD1.5) to reproduce their impressions.
2 types : "Type1 (Basic)" and "Type 2 (Anime painting)" are available. To download each types, switch version tabs ↑ above.
TV-Anime style version and Semi-real (2.5D) style version are also available.
I feel that model merging is similar to the breeding of flowers (to improve their appearance), so named "Breed".
These models have special features :
Include many originally trained LoRA's to adjust painting style (saturation, tone), eye shape, and quality (finely detailed pupils, finely detailed outlines, reducing grain noise etc).
Highly detailed backgrounds.
Support NSFW outputs.
More various other LoRA's and Checkpoints are released on my CivitAI models list or HuggingFace repository. Please check it out.
Recommended output settings
CFG Scale: 7 - 10
Clip skip: 2
Sampler : DPM++ 2M SDE Karras / DPM++ 3M SDE Karras
Sampling steps: 30 - 50
Resolution: mainly tested on 768x768, 832x1216, 800x1200 and 1024x768
HiRes Fix: use SwinIR_4x, R-ESRGAN 4x+ or 4x-UltraSharp with denoise strength 0.3-0.7.
Negative prompt: DO NOT USE (see above)
VAE: embedded.
Recommended quality prompts (optional)
These checkpoints are derived from PonyDiffusion, so use quality prompts of Pony models.
newest, masterpiece, best quality
BREAK
score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up
BREAK
a cute girl, cute round face,
(PUT YOUR PROMPTS HERE)このデータモデルについて
注意点：本モデルを使用する際、ネガティブプロンプト（Negative embeddingsを含む）を一切使用しないでください（Negative prompt欄を空にしてください）。ネガティブプロンプトが入っていると、出力画像の品質が低下してしまう現象が確認されています。この現象の対策については研究中です。ネガティブ要素を使用したい場合は、NegPiP拡張機能を導入し、通常プロンプト側で当該要素にマイナス強度を指定することで出力品質を落とすことなく実現できます。
HotaruBreed XLシリーズは、SD1系統モデルであるHotaruBreed／HotaruBreed Neoシリーズの出力に近い結果を得られるように学習を行ったXL対応モデルです。
通常(Type 1)、アニメ調(Type 2)の2種類を公開しています。ページ上部のバージョンタブを切り替えることで各バリエーションをダウンロードできます。
SD1向けHotaruBreedシリーズの出力結果を学習することでそれらの絵柄を再現し、イラストレーション生成（NSFW対応）に特化したモデルで、可愛さを追求しています。
私はモデルのマージはお花の交配（品種改良）と近いものを感じているため、品種改良を意味するBreedと名付けました。Breedシリーズの特徴として、作者が独自に学習させた多数のLoRAをマージすることで、画質・色味・陰影や眼の形などを調整したり、瞳の質感向上や粒子ノイズ低減、HiRes Fixの高品質化などを図っています。
推奨される出力設定や品質指定プロンプトなどは上記を参照してください。
VAEは焼き込み済みですので、別途用意する必要はありませんが、WebUIの設定でVAEを変更することで任意のVAEを使用して出力することができます。
他にもさまざまなLoRAやデータモデルを公開していますので、CivitAIの配布モデルリストまたはHuggingFaceリポジトリをご覧ください。
Models used to merge
Trained with img2img outputs by HotaruBreed Neo
Description
FAQ
Comments (10)
お疲れ様です
Cute and Breedable (lol)
This model is pretty solid with great style consistency and works well even without negative prompts, which is pretty rare. That said, there are a few things to consider:
- The model sometimes seems to ignore specific camera position prompts like "cowboy shot" or "portrait".
- While it does fine without negatives, I use fast LoRA (like TCD, PCM, Hyper-SD), which can lower the quality and usually needs some help from negative prompts or text embeddings. NegPiP is messing up my gens, so hopefully, the negative prompt gets fixed soon.
- The default 800x1200 resolution feels a bit off. It's better to stick with multiples of 64 for both width and height. The closest recommended resolution would be 832x1216.
- I use a face detailer to make faces rounder and de-age them a bit, but the head still feels smaller than I'd like. It’d be great if the head size was a bit bigger like what you see with HotaruBreed Neo.
Jujo Hotaru のモデルは私を本当にがっかりさせたことはありません
ネガティブプロンプトを入れると品質が低下するという現象ですが、指定するネガティブプロンプトに結び付けられている画像に偏りがあるためではないでしょうか？
例えば「bad fingers」の場合、このプロンプトに強く結び付けられているのはイラストであり、学習データの実写画像にこのプロンプトが付くことは少ないはずです。
そのため、これをネガティブに指定するとイラストをネガティブに指定したのと似たような動作となり、指だけではなく全体が変化してしまうのだと思います。このモデルの場合、リアル系もマージされているようなのでその影響は大きそうです。
対策としては、「realistic」や「source_XXX」をネガティブプロンプトにいくつか入れて大まかなスタイルを限定した状態を基準とし、好みのスタイルになるよう学習内容を調整していけば後からネガティブプロンプトを追加しても影響は少なくなると思います。
(単なる推測なので違っていたらすみません)
@oritatami_neko
情報をお寄せいただきましてありがとうございます。
このモデルなのですが、おそらく他モデルではあまり採っていない特殊な作り方をしておりまして、それがNegative問題を起こしているものと思われます。
というのも、私がもともとLoRA開発出身で、Fine tuning等の知識（およびリソースの余裕）がほとんどないため、本モデルについては
1. 複数のXLモデルをマージして作ったベースモデル（頭身、顔の形、背景品質などが理想に近いもの）を用意
2. ベースモデルでいろいろな構図の元画像を数十枚出力
3. その数十枚をSD1用HotaruBreedモデルでimg2img
4. 元画像とimg2imgした画像の差分を、1組ずつ、いわゆるコピー機法でLoRA化
5. 作られた数十個の差分LoRAをベースモデルにマージ
という手順を踏んでおり、テキストエンコーダ層についてはLoRA学習時にスキップしているためまったく変更されていません。
このため、特定のプロンプト／Negativeプロンプトについて学習・調整するといったことには手を出すことができておらず、残念ながら今の手法を採っている限りでは良い解決案が浮かんでおりません。
なお、LoRAマージ前のベースモデルの時点でも、Negativeを使うと塗りや構図・顔の形などに割と大きな変化が生じるようでした。このため、試しにNegativeを使って出力した画像をimg2imgした差分LoRAも複数作ってマージしてみたのですが、効果は無いようでした。
@JujoHotaru
ごめんなさい、説明の仕方が良くなかったですね。
特定のプロンプト／Negativeプロンプトについて学習・調整するという訳ではないです。
私が提案したかったのはもっと単純な方法で、手順1でベースモデル作成するときに定番のネガティブプロンプトを複数入れた状態で理想に近い出力になるようマージ対象モデルの選択やマージ比率の調整を行うということです。
そしてベースモデルに差分LoRAをマージした完成品で生成するときはベースモデル作成時と同じネガティブプロンプトを使用します。このときネガティブプロンプトをさらに＋αしてもα部分のみをネガティブに入れる場合より品質低下は少なくなるはずです。
ベースモデルでのネガティブプロンプトはマージ元モデルの推奨値を参考に決めていけば良いと思いますが、タグ体系が異なるモデルをマージしていると中々難しいかもしれません。
@oritatami_neko
補足ありがとうございます。元モデルのマージを行う段階で調整を行っておくということですね。
次版の開発を行う予定のため、その際にその手法を活用してみようと思います。
omg Hotaru is back with Pony! Nice
NegPip for comfyUI:
I can tell it's trained on Flux outputs.