Новый крутой препроцессор и модель для ControlNet⁠⁠

TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронками. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.

Если ControlNеt у вас еще нет, то в автоматике идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. И кидаем по пути ваша_папка_с_автоматиком/extensions/sd-webui-controlnet/models. Всё. Вы готовы. Можем начинать.

Результат не всегда предсказуем, но от того крайне интересный.

А теперь скачаем новинку. Перейдите по ссылке и скачайте t2iadapter_style_sd14v1.pth. Помещаем туда же куда и все модели контролнета.
Ваша_папка_с_автоматиком/extensions/sd-webui-controlnet/models

Не забудьте обновить сам контролнет, если давно этого не делали. На вкладке Extension.

Переходим txt2img. Сегенерируйте картинку на свой вкус, чтобы посмотреть как она выглядит без новинки. А теперь активируем контролнет. Препроцесср установите clip_vision, а модель t2iadapter_style_sd14v1.

У меня будет вот такая:

Мои настройки (обратите внимание на Weight):

Из за вот этой Картины Ван Гога, я некоторое время не мог понять как это работает, но и она же все же дала понять как. Я прогнал один промпт через десятки фотографий.

Часть образцов:

Результат:

Обратите внимание как переносится стиль. Это не простой перенос цвета. Например от мужика переехали усы. А от картины "Звездная ночь" только небо и немного город. Тут я и догнал что это как мини обучение. Он понимает что это именно небо и поэтому менял мне небо. Он нашел на фотографии которая имела совсем другие пропорции усы и прилепил похожие. И тд. и тп. Что как я считаю довольно круто.

Результат просто промпта:

++++++

====

За артефакты сорян, не про них статья)

Игры с имг2имг предлагаю вам устроить самостоятельно:

Что хочется отметить. Очень важен ползунок Weight. На 1 можно даже не увидеть воздействия. Лучшие результаты я получал на диапазоне 1.05-1.4. Для разных изображений по разному. Так же рекомендую поиграть с Guidance Start\End. При высоком весе, отстрочить вступление контролнета может дать результат как выше.

П.С. Это не единственная новая модель. Есть еще color, но он просто выделяет главные цвета из изображения и накладывает на новое, делает это довольно грязно. Если хотите попробовать то по той же ссылке файл t2iadapter_color_sd14v1, а препроцессор для него color.

Мои ссылки:

Нейронная академия - мой канал для которого пишу гайды, новости, советы.

Наш чат - место где мы общаемся, делимся работами, помогаем друг другу с решением проблем.

Интенсив - где за 2 дня собираемся обучить всех желающих основам использования SD.

Челенджи - раз в день, неделю, месяц публикуем тему и выясняем кто справился лучше.

А так же ютуб канал и бусти с доп материалами.