2023.11.03
更新 v3 版本,在 v1 基础上增强了泛化性。建议使用高分辨率修复(Hires.fix)。样图采用的放大算法为 R-ESRGAN 4x+ Anime6B,放大倍数 1.5,迭代次数为 0。
使用 moat v2 对训练集打标,优化器为 Lion,学习率默认为 1e-5 和 1e-6,repeat=5,训练 20 个epoch。本次训练降低了 step 数,增加了 batch size,训练分辨率为 1024*1024。
在增加 batch size 的过程中,发现在没有增加学习率的情况下,模型在第 4 个 epoch 效果最好(该结论在训练 anmi 模型的时候也有体现)。epoch ≥7时,画风开始过拟合,且当 epoch ≥16 时开始收敛至第二个最小值。
因此我认为之前的 lora 模型已经严重过拟合,并决定把 v1 版本的模型删除。
——————————
2023.09.19
更新了 v2 版本,采用 Loha 来大幅减少文件大小,以满足一部分用户的需求。
Loha 等 Lycoris 模型的训练速度非常慢(大约是正常 Lora 训练速度的一半左右),且对显存要求比较高,训练成本较大。因此我不会训练太多的 Loha 模型。
封面是 Loha 在 NAI ,也就是训练底模下出的样图。相较于 Lora ,该模型在 NAI 和 Anything 上表现出些许的欠拟合。而相对应,加强了在其他底模上的稳定性和泛化性。
事实证明,Loha 适合用于画风训练,因为模型中的卷积层能够更好的吸收训练集中的画风以及其他更抽象的信息,这能很好的缓解线性层的学习压力。经测试,比较合适的画风训练参数为 dim = 32,conv = 4。alpha值不确定,我倾向于设置成与 dim 相同的值,调的太低的话我感觉会出鬼神。
请确保您的 stable diffusion webui 更新到最新版本。建议出图分辨率为 704*1024。
——————————
2023.09.02
v1.1 修复了瞳孔部分的问题,建议加入提示词 “dot pupils‘’ ‘’eyelashes” 等
所有图片均采用 NovelAi 泄露模型生成,‘’highres‘’可能可以提升图片质量。你也可以选择anything之类的二次元模型,细节拟合效果更好,但在NSFW上效果欠佳。
选了个loss值最低的测试(v1.0),发现效果不是很好,远景或者全身会画面崩坏,因此还在测试另一个版本(v1.1)
v1.0 目前核心问题是瞳孔画不出来。建议加入瞳孔相关的tag(dot,pupils之类的)以加强人物特征,但是效果也不是很好。且训练时发现,随着模型逐渐拟合,loss值在降低的过程中,人物的瞳孔特征也在逐渐消失。
个人认为是训练集中存在不同类型的瞳孔,但是缺少相关的tag进行识别,导致训练时各类瞳孔特征发生了融合。由于该画师画的瞳孔一般比较小,为了减少loss值,ai直接把瞳孔识别为噪声并删除了。
Description
FAQ
Comments (2)
lora好像有点太大了,能跑144mb及以下的版本吗
目前我的实验结果是,画风只和 dim 值有强相关性,如果存在其他能够影响画风的参数话,有可能可以做到。
太大是因为我训练时设置的 dim 值为 200,因为该画风比较独特,低 dim 下可能无法拟合。
如果要训练 144 mb 以下的版本,dim 值就是 128,只有在画风稍微接近一点的底模上才有可能实现。我试了很多个 dim 值,也包括 128,只有为 200 的时候拟合效果是最好的。而且大部分比较独特的画风应该都是这个值。
假如 dim 值较低还能做到在训练底模上画风拟合优秀的话,那这个画风 lora 在其他底模上效果应该不会特别好,大概率会表现为欠拟合。我训练画风还追求一定的泛化性,所以除了 NAI ,基本不可能使用其他的融合模型。所以该方法还需要探索。
我的一个思路是,先通过复印法训练出一个概念上比较接近目标的画风lora(举个例子,可能是水墨风格,也可能是其他的),融合进底模中再进行画风训练,或许可以做到。不过我没有艺术细胞,我不知道哪个画风概念距离这个画风是最近的。而且通过该方法训练出来的画风 lora 估计也只能在 这个经过特殊处理的 NAI 底模上使用,在其他模型上效果肯定不好的。
还有一个思路是训练其他类别的模型(embedding,vae,hypernetwork 等)辅助出图。这个方法目前在人物训练上有所应用,但画风没见人使用过,我自己也不太想尝试,比较抽象。要不然就只能换 Lycoris 的方法训练,比如 loha 和 lokr,或许能通过卷积层去影响画风,不过这也是我的猜测。
Looks like we don't have an active mirror for this file right now.
CivArchive is a community-maintained index — we catalog mirrors that volunteers upload to HuggingFace, torrents, and other public hosts. Looks like no one has uploaded a copy of this file yet.
Some files do get recovered over time through contributions. If you're looking for this one, feel free to ask in Discord, or help preserve it if you have a copy.