Mouse fuck cat

Потратил пару недель на експерименты с нейронками (StableDiffusion и Controlnet) и хочу поделиться опытом.

Модель yiffymix сама по себе уже даёт классные картинки и, например, мышь с свечкой нагенерит без всяких проблем. Но интерес в том, что бы опробовать более продвинутые техники генерации. На мышь ушло два вечера, вот с подружками-кошками пришлось повозиться прилично времени.

Хотелось опробовать варианты большего контроля над выводом нейронки, возможность делать комплексные сцены. Для експериментов использовался softadge и colormask.

Сам принцип довольно прост.

Генерим или находим в интернете нужную картинку. Получаем из неё softadge изображение при помощи набора нейронок из controlnet-а. Вот пару примеров.

Далее закидываем это дело в графический редактор, стираем не нужное, дорисовываем желемое и фиксим проблемные места.

На выходе в случае с мышью у меня вышла вот такая картинка. Не идеально но для експериментов пойдёт. По ней уже нейронка вполне выдаст желаемое.

Но как сделать желаемую цветовую гамму? В принципе с этим и описание в промпте справиться может но для сложных случаев можно спользовать модели t2ia_color_grid и t2iadapter_color.

В том же графическом редакторе рисуем крупными пятнами цвета.

Прогоняем через t2ia_color_grid и получаем вот такую "смеху", в зависимости от настроек она может быть более или менее детализирована, это надо играться и искать лучший вариант.

А далее уже магия контролнета выдаст результат, наиболее близкий к желаемому.

П.с. сам ещё не пробовал, но вполне возможно что этот приём может хорошо помочь при генерации персонажей с оружием. Нейронки плохо с ними справляються.