SD1.5 try size: 640 x 640 or 512 x 768
SDXL Try size: 1024 x 1024 or 768 x1024
Weights: 0.3~1
Clip skip: 1~2
Training material from bing
Pictures from CalicoMix and AnimeXL-xuebiMIX and 古風 GuFengXL_Turbo_Mix and VXP AnimaPonyXL (Turbo) and Real Lightning MIX - 4 Steps
Note: If girl disappears, please add more description in SD1.5, and sometimes girl has machines in her hands. SDXL lora had slightly overfitting (numRepeats:16), not suitable for realistic model; Pony lora versatility is higher (numRepeats:8) , more suitable for realism model. If you use ADetailer, please to close "ADetailer VAE". and "Inpaint mask blur" should not be lower than 8.
Description
FAQ
Comments (9)
對寫實人物的臉會造成影響
也沒有穩定的出現站在斑馬線上
這個我沒辦法,訓練前這些情況都在預料之中,不出現這些狀況反而很奇怪,你試著取材訓練就知道狀況。動漫lora污染寫實模型非常容易,那種臉皮膚是被降維造成的,可以用Adetailer改善,我一定會開AD修臉。訓練背景我不想跟訓練衣服一樣砍臉,這樣出圖就要描述臉,我不是專為了寫實模型出圖才訓練的。至於斑馬線很容易污染,弄成整條馬路都是,crosswalk跟weapon一樣難搞,抽卡就好了...轎車都可以跟機車互相污染了,變成轎機車…公車也可以跟taxi污染,變成公車taxi…
SDXL的ADetailer出圖會有點問題,所以設定中的VAE跟遮罩模糊要調整,我有寫在註明怎麼改善了。
也許將來有人可以克服這些問題吧?即使SDXL、Pony上也沒辦法表現很完美…復刻不是一件容易的事,擬合太高會污染,擬合太低效果不明顯…
一般來說,動漫lora用在寫實大模型上,權重要降一些,避免污染;寫實lora用在動漫大模型上,權重要高一些,增加細節。而大多數的寫實大模型,其實已經能把台北街頭模擬七、八分像,所以其實不需要過高權重,而且目前能混的台北街頭寫實lora大概有三四種了,我自己也有在用,所以不太需要勉強用這個動漫lora再混合。
話說要是能增加機車在待轉格上的畫面 或者 視角遠一點車貼近走在斑馬線的人的畫面 會比較接近主題
不然這看起來只有表現路上車很多而已
@bluelovers 是不錯的建議,但我是在bing上面取材的,它沒辦法畫出待轉格,甚至連騎樓都畫不好。當然我也可以混進至少2/3真實照片,只是待轉格就要另外做一個lora,但大概很少人會想用它?丟太多元素給它,它只會搞混練壞,也可能整條馬路都變成待轉格,還要想出一個新觸發詞,類似機車停車格的東西,它不像斑馬線有內建基礎。嗯…遠一點的話,大家就要靠高清修復了。車子如果想貼很近,就要每張素材都一樣,整個角度、構圖鎖死,缺少變化性。訓練劍lora或特殊pose也是這樣,不想讓它失控,只好把它鎖死。還有就是我功力不夠,沒辦法復刻很到位。跟你期待的差很遠,很抱歉...
@bluelovers 偏偏還有人嫌車不夠多,還叫我用過載(overloaded)去填滿…我當然不要。這個lora只是個雛形,算是拋磚引玉,如果我後續無法改良或延伸,就要靠其他人去突破了,將來SD3以後的後繼模型也許不需要這些了,街道會更接近當地實際狀況,就像現在SDXL大模型已經有不錯的動漫角色內建。我還會弄其他類似的台灣背景,但是要看SD1.5能理解多少…
@bluelovers 關於斑馬線,你可以嘗試增加pedestrian crossing或crosswalk的權重,但是也可能污染整個路面,所以我刪掉了…
Details
Files
Available On (1 platform)
Same model published on other platforms. May have additional downloads or version variants.