手中无剑心中无尘,才是我胸怀。
——《随缘》
大家好,我是chosen鲷,这次给大家带来的是Niji二次元风格lora。
与其说是要分享这个模型,其实我更想要分享一下我的思路,因为现在的大模型都比较水桶,兼容性很好,能够出多种风格的图(144m就能解决的问题没必要占用几个G,你懂得),只需要挂不同的风格lora,就可以画出多种风格,但是一个lora就只能出一种风格吗?抱着这样的想法,于是我想要去尝试把多种风格的图放到训练集里面,看看一个lora能否记住多种风格。
于是我就把我以前训练集的那些图片整了个大杂烩,如果硬说这些图片有什么共同特性,那也就是他们都是用niji出的,但是众所周知,niji它也是有好几个风格的模型的,这次的训练集里面有Default style(默认)、expressive style(写实)、scenic style(风景)三种模型出的图。
最后的结果如你所见,这个lora非常有趣,它只需要搭配诸如ghost这种兼容性好的大模型,即可实现多种风格,所以一个lora也不是只能有一种风格。在这一瞬间我也突然有了一种顿悟感,我们是否一直都在限制lora这个玩意的上限呢,我们一般默认,一个lora是一种风格或者一个人物或者一个服装或者一种概念,但是这又是谁规定的呢,其实不需要去人为的给lora设置上限,它能学习到的东西比我们想象的要多的。
上次通过那个幻想世界的lora,让我悟到了“手中无剑,剑在心中”这样的道理,于是渐进于无剑胜有剑之境,即不去写复杂的tag,尤其是质量词,只写图面中出想要表达的内容,简介的tag反而能够出来更有想象力的图片。
那么这次我悟到的道理便是“手中无剑,心中无尘”,即也不要给lora设置上限,随心而为,我们所挑选的训练集,并不是只能有一种风格,并不是只能有一个人物,只要你觉得这一堆图,可以训练成一个lora,它就可以训练成一个lora,哪怕这些图风马牛不相及也没关系。这样我们就可以达到真正的自由境界,再也不需要任何的束缚了。
我这人思维比较跳脱,我也不知道我说清楚没有,如果你看不明白我那一段长篇大论那就当我以上内容放屁就成,说回这个模型吧。
它可以实现Default style(默认)、expressive style(写实)、scenic style(风景)三种niji模型的风格,我推荐你们使用ghost大模型,因为这模型兼容性很棒,当然你用别的大模型也行,但是必须是兼容好的模型,不能是鸢尾花那种风格特化的大模型。权重的话0.8-1.0均可
推荐的tag(通过替换文中红色的部分来实现切换风格)
(masterpiece:1.2), best quality,realistic/scenery/pixiv,midjourney,
这里写你想要的内容
<lora:midjourney:1>
Negative prompt: EasyNegative, badhandsv5-neg,Subtitles,word,
Steps: 32, Sampler: DPM++ 2M, CFG scale: 7, Seed: 4204580293, Size: 768x512, Model hash: e3edb8a26f, Model: ghostmix_v20Bakedvae, Denoising strength: 0.5, Clip skip: 2, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+, Lora hashes: "midjourney: 6e3ef7e34ce1", Version: v1.4.1
关于大模型,首推ghost,兼容性非常棒,多种风格都能出,然后是majic fantasy效果也不错,但是这模型二次元方面不行,然后我的chosen mix与impasto也都行,例图可以读取tag,大家可以自行尝试。
Description
FAQ
Comments (5)
大佬,我一直没有训练成功过风格,希望请教请教。如果训练风格,对于人像风格、3D、2D,分别训练,打标签的时候,我到底应该留有什么样的tag?比如人像的,我只需要保留这一堆画风基本一至但是不同人物,中的通用的一些关于人物的标签吗?是这个思路吗?
其实从你的问题里我已经大概明白你为啥老失败了,因为人像训练想要成功,可能得50步,对于二次元来说,10步差不多就可以了,否则容易炸,那你把这些放一起训练,你步数就咋调都调不对。你看我的这个lora,它虽然多风格,但最多是写实风格的画,我是没有把二次元的内容和三次元的内容混在一起的,因为那样的话我就会失败。当然你可以尝试把照片的文件夹前面数字调成50_photo,把二次元文件夹前面的数字调成10_photo,不过我倒没这么试过就是了。
然后关于标签,不瞒你说,我最近这十来个lora把,我根本就不剪裁图片了,我就用tagger自动打个标直接扔进去训练,如此随意地做法,其实对结果属实也没啥影响,按照道理来说,画风训练应该是删掉全部tag,只保留提示词,但是我从来不那么干就是了。
然后我关于画风的理解,就是一方面是色调,上色技法,等等,还有一大部分就是脸型,因为人认知图像很大一部分就取决于脸,因为我以前画手绘,我们会强调脸型的辨识度,即最好是你作为一个画师,你能有一个招牌的脸型,这对于形成自己的风格有很大帮助,所以我训练画风的时候会经常把脸型也做一个单独的文件夹去训练。
我在上面那个视频里详细的介绍了我的训练参数,你感兴趣的话可以看一下,秋叶的包和朱尼酱的包我都试过,其实没啥差别,参数都是一样的。
@chosen 太感谢你了,我知道为啥了,终于有思路了,谢谢佬
请问大佬例图里面负面embedding badhandsv5-neg是哪个呀,c站上能找到吗?
C站能找到badhandsv4,你用那个也行,没什么用,手照样崩,不是一个pt文件能搞定的
Details
Available On (1 platform)
Same model published on other platforms. May have additional downloads or version variants.

















