Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения⁠⁠

Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.

Вы научитесь делать так же

Что нам потребуется:
1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно. 3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜

По всему интернету для вас собирал мои пирожочки

Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.

Бунтарка - обученная на синтетическом дата-сете текстовая инверсия.

Вот что у меня получилось.

Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт.
И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.

Я уже по-генерил, но у вас тут фоток справа не будет.

Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.

Знаете ли вы, что с помощью настройки Remove Background % можно очень хорошо вырезать персонажа с фона? Теперь знаете, поиграйтесь.

Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.

Настройки вполне стандартные

Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта

Включаем свет

Теперь у нас есть отправная точка, фиксируем сид и изменяем свет. Для этого надо нажать на карандашик рядом с крестиком.

Хватаем сетку за краюшек и двигаем куда хочется, мне хочется в лево.

Генерируем, теперь свет у нас с другой стороны.

Электричество кончилось

А теперь сделаем источник света уже и обрежем.

Как будто-то свет из окна

Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.

Включаем свет

Теперь все освещено.

И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.

И света снова нет.

Кто балуется с выключателем?

А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.

Просто меняем картинку уменьшаем деноизинг, чтобы сердечки проступали на фото

Милота и как мы любим в один клик

Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.

Собрал уже более сотни различных текстур и эффектов

Луна сверху, свеча сбоку, как на карте.

Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.

Этот и другие эффекты скоро тоже выложу

Очень мягкий и уютный свет, как на закате

А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк

Гори, гори ясно

С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?

Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.

Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.

Это уже второй слой, вон сверху написано

И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.

Легко и просто правда

А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.

----

Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!

В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.

Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.

Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.