Mouses

Потратил пару недель на експерименты с нейронками (StableDiffusion и Controlnet) и хочу поделиться опытом.

Хотелось опробовать варианты большего контроля над выводом нейронки, возможность делать комплексные сцены. Для експериментов использовался softadge и colormask.

Сам принцип довольно прост.

Генерим или находим в интернете нужную картинку. Получаем из неё softadge изображение при помощи набора нейронок из controlnet-а. Вот пару примеров.

На выходе в случае с мышью у меня вышла вот такая картинка. Не идеально но для експериментов пойдёт. По ней уже нейронка вполне выдаст желаемое.

В том же графическом редакторе рисуем крупными пятнами цвета.

Прогоняем через t2ia_color_grid и получаем вот такую "смеху", в зависимости от настроек она может быть более или менее детализирована, это надо играться и искать лучший вариант.

А далее уже магия контролнета выдаст результат, наиболее близкий к желаемому.

П.с. сам ещё не пробовал, но вполне возможно что этот приём может хорошо помочь при генерации персонажей с оружием. Нейронки плохо с ними справляються.

В такую церковь, я бы заглядывал частенько

Захотелось нагенерировать монашенек-мышат в церкви... 

Ради интереса провёл эксперимент - "отнейронить" и фуррифицировать фотку PVC-фигурки

Если кому интересно - в продолжении промежуточные этапы

Фотка самой фигурки

Затем прогон скетча через img2img и составление промпта. Один из полученных вариантов

INB4 "а чего просто не сунул фотку в нейронку, без всяких скетчей?"

Потому что получается совсем другой результат и другой персонаж. Хотя конечно и с этим способом можно получить интересные результаты. Например, с низким денойзом получается как будто 3D-стиль (это без дополнительных обработок)