Потратил пару недель на експерименты с нейронками (StableDiffusion и Controlnet) и хочу поделиться опытом.

Хотелось опробовать варианты большего контроля над выводом нейронки, возможность делать комплексные сцены. Для експериментов использовался softadge и colormask.

Сам принцип довольно прост.

Генерим или находим в интернете нужную картинку. Получаем из неё softadge изображение при помощи набора нейронок из controlnet-а. Вот пару примеров.

На выходе в случае с мышью у меня вышла вот такая картинка. Не идеально но для експериментов пойдёт. По ней уже нейронка вполне выдаст желаемое.

В том же графическом редакторе рисуем крупными пятнами цвета.

Прогоняем через t2ia_color_grid и получаем вот такую "смеху", в зависимости от настроек она может быть более или менее детализирована, это надо играться и искать лучший вариант.

А далее уже магия контролнета выдаст результат, наиболее близкий к желаемому.

П.с. сам ещё не пробовал, но вполне возможно что этот приём может хорошо помочь при генерации персонажей с оружием. Нейронки плохо с ними справляються.

Интересный инструмент у CD появился. У ControlNet-а есть reference-модели.

Решил опробовать на старых промптах как вообще оно работает и вот что получилось. По моему очень даже не плохо.

Ручной работы тут минимум, в отличии от предыдуших генераций, которые ещё в инпейнте и в редакторе доводил до кондиции.

У рефов один большой минус - скорость работы. Уж больно долго генеряться картинки. 

профиль автора:

https://twitter.com/johnstark_ai

black furry fox

Решил таки ещё один заход сделать, в этот раз не тратить время на жонглирование нейронками и дорисовку элементов а попытаться выдавить из Anything полноценного персонажа. В целом, результат мне понравился.

Под впечатлением нескольких последний постов от White_Dragon и коммикса про крольчиху решил таки для себя вскрыть эту тему. Тоже мыши, только белые. Ведь на чём ещё экспериментировать как не на мышах?