female Mouse picture female Mouse female Mouse female

Потратил пару недель на експерименты с нейронками (StableDiffusion и Controlnet) и хочу поделиться опытом.

Модель yiffymix сама по себе уже даёт классные картинки и, например, мышь с свечкой нагенерит без всяких проблем. Но интерес в том, что бы опробовать более продвинутые техники генерации. На мышь ушло два вечера, вот с подружками-кошками пришлось повозиться прилично времени.

Хотелось опробовать варианты большего контроля над выводом нейронки, возможность делать комплексные сцены. Для експериментов использовался softadge и colormask.

Сам принцип довольно прост.

Генерим или находим в интернете нужную картинку. Получаем из неё softadge изображение при помощи набора нейронок из controlnet-а. Вот пару примеров.

Далее закидываем это дело в графический редактор, стираем не нужное, дорисовываем желемое и фиксим проблемные места.

На выходе в случае с мышью у меня вышла вот такая картинка. Не идеально но для експериментов пойдёт. По ней уже нейронка вполне выдаст желаемое.

Но как сделать желаемую цветовую гамму? В принципе с этим и описание в промпте справиться может но для сложных случаев можно спользовать модели t2ia_color_grid и t2iadapter_color.

В том же графическом редакторе рисуем крупными пятнами цвета.

Прогоняем через t2ia_color_grid и получаем вот такую "смеху", в зависимости от настроек она может быть более или менее детализирована, это надо играться и искать лучший вариант.

А далее уже магия контролнета выдаст результат, наиболее близкий к желаемому.

П.с. сам ещё не пробовал, но вполне возможно что этот приём может хорошо помочь при генерации персонажей с оружием. Нейронки плохо с ними справляються.

Ради интереса провёл эксперимент - "отнейронить" и фуррифицировать фотку PVC-фигурки

Если кому интересно - в продолжении промежуточные этапы

Фотка самой фигурки

Включаю свои mad skillz, чтобы сделать из фотки скетч для нейронки

Затем прогон скетча через img2img и составление промпта. Один из полученных вариантов

И в конце концов ручками в пейнт.нете ремонт жирафьей шеи, кистей, и добавление/исправление мелких деталей (потому что делать это через инпейнт нейронки - боль и слишком рандомно).

INB4 "а чего просто не сунул фотку в нейронку, без всяких скетчей?"

Потому что получается совсем другой результат и другой персонаж. Хотя конечно и с этим способом можно получить интересные результаты. Например, с низким денойзом получается как будто 3D-стиль (это без дополнительных обработок)