TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронками. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.

Сегодня расскажу про одну из самых вау фишек ControlNet.
Интересно что эта возможность была доступна со старта, но ее не сразу нашли.

Прежде чем начать, кратко для новоприбывших, как установить контролнет. В автоматике идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. Сегодня нам понадобится depth. И кидаем по пути ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models. Всё. Вы готовы. Можем начинать. Если не совсем готовы можете прочитать мою статью про ControlNet - полный контроль над позой и положением персонажа. И Установка и объяснение настроек Control Net. (Копирование позы, композиции и т.д.)

Запускаем наш automatic1111. Нам нужна сгенерированная картинка с которой будем работать.

Я возьму старую и закину в img2img через pngInfo чтобы применились все настройки генерации.

ControlNet. Полный контроль над светом Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Цифровой рисунок, Видео, Без звука, Вертикальное видео, Гифка, Длиннопост

Теперь нужно активировать ControlNet и закинуть в него туже самую картинку. Препроцессор выбираем depth модель control_depth.

Что мы сделали? У нас все параметры генерации настроены так, чтобы сгенерировать ту же самую картинку. Но генерировать мы ее будем по карте глубины этой самой картинки. А теперь самая главная магия. Мы поменяем исходное изображение на что-нибудь интересное, например на чёрно-белую картинку с нарисованным светом (легко найти в интернете по запросу свет на черном фоне).

В итоге получаем наш промпт, который применен к карте обьема нашей же картинке в контролнете только ко всему этому мы подмешиваем еще одну картинку.

И это все так гладко ложится потому что у нас есть информация об объеме нашего изображения. Надеюсь понятно объяснил .

Но даже если не понятно, не важно. Это просто работает).

Сейчас настройки выглядят так

Теперь необходимо настроить Denoising strength. Тут все просто, чем ближе к левой части тем ближе вы будете к картинке вверху, в данный момент освещения. Чем ближе к правой, к картинке в контролнете.

Крайнее правое значение:

В крайнем левом будет просто наша картинка со светом.

Ваша задача найти баланс для вашей сцены.

Для меня это где-то в диапазоне 0.5 до 0.9. Сделаю для вас сравнение через XYZ Plot. Как им пользоваться рассказывал у себя на канале.

0.3-1 [8] - Значит: сгенерируй 8 изображений с равным шагом в диапазоне межу ноль три и один.

И теперь самое интересное.

Мы можем использовать одно и то же изображение для получения разных результатов. Например, сейчас будем перемещать источник света.

Идем к нашему свету, нажимаем карандаш и указываем какую область картинки мы хотим использовать:

Внимание. На дату написания этого гайда 04.04.23 в актуальной версии автоматика, то что я показываю далее работает не корректно (картинка обрезается). Для записи гайда я откатился на более старое обновление. Как это делать рассказывал тут.