За основу брал этот гайд - https://www.youtube.com/watch?v=A15M4cbUM5k

Он от чувака который сделал тот самый deliberate (на котором я тренирую модели) и lowra

Еще он создатель win10tweaker (за что ему низкий поклон в своё время)

Как обычно дьявол кроется в деталях, и не со всеми пунктами я согласен на 100%, вот эти 3 например:

1)blip for caption не работает (он вреале не работает лол)

2)100 шагов на изображение

3)15 изображений в датасете

Я бы мог действовать четко по инструкции, но как говорится доверяй, но проверяй (и как обычно решил сделать по своему)

Долго я ломал бошку, прошел сквозь огонь и воду, но по итогу пришел наверное к наиболее верным выводам:

1)На примере Ихтиандра (а этот пример исключение из правил), я сделал его подводный костюм со шлемом. Нейросеть не поняла что на изображении когда делала caption, поэтому пришлось вручную писать - man in silver diving suit and helmet итд итп (она видела в нем какую то рыбу). Так что blip for caption работает как надо только вот в таких вот исключениях (когда вместе дефолтной фотки лица там неизвестный объект так скажем. О чем автор гайда упомянул)

2)Умножьте 100шагов на 15изображений=1500. Именно эту цифру я слышал всюду. Может это совпадение но 1500шагов (в моем случае при batch size2) выходит лучше всего. Кто то делает 3000 шагов, Я для сравнения делал даже на 600 шагов (схожесть большая но прически например другие-кому то наоборот такое больше подходит). У него в видосе было 16фото, но результат 1600шагов все равно. К сожалению не всем достаточно 1500 и у некоторых моделей может быть от 1500до2300 шагов в зависимости от разнообразия датасета (Надеюсь я не перебарщиваю и делаю все верно).

3)Изображений у меня в датасете много. Наверное для кого то даже слишком. Обычно за весь фильм набирается где то около 100 изображений (пригодных для использования). В описании на Анастасию Вертинскую я жаловался что датасет очень маленький (60 изображений). Хо хо хо, я уже чувствую как кто-нибудь мне плюнет за такие жалобы в лицо, но там смысл не в количестве изображений а в их разнообразности так скажем (в частности одинаковые костюмы). В общем, 100 шагов на каждое изображение как уже понятно - перебор (для такого большого количества изображений). Поэтому 1500шагов делим на 100изображений=15шагов на 1epoch (у меня batch size2, поэтому 15x2=30). lora на Вертинскую я тренировал за 50шагов на изображение. Кароче формула более менее работает, я бы мог и на 15и изображениях модель наверное сделать спокойно, но раз результат все равно хороший (судя по отзывам и по моим экспериментам), то почему бы и нет.

Изложил опираясь только на свой опыт, если тут есть мастера то пишите мои ошибки в данном вопросе, буду только рад разобраться в нём лучше