Потратил пару недель на експерименты с нейронками (StableDiffusion и Controlnet) и хочу поделиться опытом.
Модель yiffymix сама по себе уже даёт классные картинки и, например, мышь с свечкой нагенерит без всяких проблем. Но интерес в том, что бы опробовать более продвинутые техники генерации. На мышь ушло два вечера, вот с подружками-кошками пришлось повозиться прилично времени.
Хотелось опробовать варианты большего контроля над выводом нейронки, возможность делать комплексные сцены. Для експериментов использовался softadge и colormask.
Сам принцип довольно прост.
Генерим или находим в интернете нужную картинку. Получаем из неё softadge изображение при помощи набора нейронок из controlnet-а. Вот пару примеров.
Далее закидываем это дело в графический редактор, стираем не нужное, дорисовываем желемое и фиксим проблемные места.
На выходе в случае с мышью у меня вышла вот такая картинка. Не идеально но для експериментов пойдёт. По ней уже нейронка вполне выдаст желаемое.
Но как сделать желаемую цветовую гамму? В принципе с этим и описание в промпте справиться может но для сложных случаев можно спользовать модели t2ia_color_grid и t2iadapter_color.
В том же графическом редакторе рисуем крупными пятнами цвета.
Прогоняем через t2ia_color_grid и получаем вот такую "смеху", в зависимости от настроек она может быть более или менее детализирована, это надо играться и искать лучший вариант.
А далее уже магия контролнета выдаст результат, наиболее близкий к желаемому.
П.с. сам ещё не пробовал, но вполне возможно что этот приём может хорошо помочь при генерации персонажей с оружием. Нейронки плохо с ними справляються.
