alexartemd

На этой же странице на гитхабе мы находим вот эту ссылку https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

От сюда нам понадобиться скачать одну модель “control_v11p_sd15_inpaint.pth” и положить ее в папку с нашим StableDiffusion по пути “ %\stable-diffusion-webui\models\ControlNet “.

Теперь все, что нам осталось – это перезагрузить наш автоматик, выбрать вашу любимую модель и настройки и сгенерировать что-нибудь красивое, желательно в портретном соотношении сторон.

Нажимаем на кнопку Send to img2img и переносим наше изображение, промпт и настройки в соседнюю вкладку.

Здесь, в настройках под изображением, нам нужно, в первую очередь, выставить соотношение сторон, которое мы хотим получить после outpainting, например, я хочу сделать свое изображение из портретного широким в соотношении 16:9, и выкрутить ползунок Denoising strength на уровень от 0.75 до 1. Я выставлю, как раз, единицу. Так же рекомендуется сбросить Seed, но с ним, как и с показателем Denoising можно поэкспериментировать.

Опускаемся еще чуть ниже и разворачиваем вкладку расширения ControlNet. Перетаскиваем наше, раннее сгенерированное изображение, в поле image, нажимаем галочку Enable и выбираем в списке радиокнопок inpaint. Автоматически загрузится модель inpaint и препроцессор inpaint_only – его нужно поменять на inpaint_only+lamaЮ иначе ничего не получится. Указываем, что ControlNet приоритетнее и выбираем изменение размера с заливкой. Все как на скриншоте ниже.

Для улучшения качества можно еще поставить галочку на Pixel Perfect, но это может увеличить время генерации. Если StableDiffusion выдает ошибку о нехватки памяти, то ставим галочку на Low VRAM.

Все, теперь просто нажимаем кнопку шедевр Generate и получаем наше изображение в формате 16:9.

До:

И после:

Так же буду рад вас видеть в своем телеграм канале, где я выкладываю свои нейро-арты, делюсь промптами, фотографиями и рассказываю про обработку:
https://t.me/artemphotography

Так же буду рад вас видеть в своем телеграм канале, где я выкладываю свои нейро-арты, делюсь промптами, фотографиями и рассказываю про обработку:
https://t.me/artemphotography

Небольшой дисклеймер.
Модель обучалась на изображениях 1024x1024 и требует 12гб видео памяти. Я запустил ее на 8 VRAM. Я к тому, что можно проделать все эти шаги, а оно все равно не заработает.

Для теста расширения я использовал портативную версию webui от Христа.

А вот само расширение XLdemo .

Чтобы поставить расширение нам нужно зайти во вкладку Extentions-Install from URL и вставить в верхнюю строчку вот этот адрес https://github.com/lifeisboringsoprogramming/sd-webui-xldemo-txt2img.git . Нажимаем Install и перезапускаем наш StableDiffusion.

После перезагрузки у нас появится новая вкладка на панели SDXL 0.9 Demo. В ней мы увидим небольшую пошаговую инструкцию к тому, что делать дальше. Не пугайтесь, там все очень просто.

1. Залогиниться на сайте https://huggingface.co/

Если у вас не было там раньше аккаунта, то создайте его. Сайт умеет логиниться аккаунтами гугла, чтоб не пришлось заполнять руками логины\пароли\почты.

2. Зайти на страницу модели на huggingface.
Тык

Дело в том, что разработчики модели на ее странице оставили внизу небольшой опрос. И если его не заполнить, то файлы для скачивания будут попросту не видны.

3. Создаем новый токен на сайте huggingface.

Вот официальная инструкция с сайта как это сделать https://huggingface.co/docs/hub/security-tokens

Вы заходите в свой профиль ( справа, сверху ), переходите в Settings – Access Tokens и снизу будет кнопка New token. Нажимаете на нее, придумываете любое имя Generate a token. Копируем его в буфер обмена.

4. Возвращаемся в наш автоматик и переходим там во вкладку Settings. Находим в левом столбце наше расширение SDXL 0.9 Demo и в единственную строку с настройками вставляем наш токен. Убедитесь, что галочка Enable refiner активна.

5. Применяем настройки

6. Перезагружаем наш StableDiffusion.

Если все было сделано правильно, то начнется загрузка моделей. Это может занять весьма немало времени, модели весят сильно больше 1.5 и их модификаций.

Все, ждем окончания загрузки, переходим во вкладку SDXL 0.9 Demo и пользуемся новой моделью. Стоит отметить, что она не совместима с лорами и ликорисами для моделей на базе 1.5. То есть, со всеми самыми популярными.

Так же буду рад вас видеть в своем телеграм канале, где я выкладываю свои нейро-арты, делюсь промптами, фотографиями и рассказываю про обработку:
https://t.me/artemphotography

Где xformers – трансформатор, оптимизирующий запросы ( ускоряет генерации ), autolaunch – автоматически открывает веб-интерфейс после загрузки StableDiffusion и theme dark – делает все темное и клевое в вашем интерфейсе. Если у вас есть учетная запись ngrok.com и их автотокен, то можно вписать в эту же строку аргументов

--ngrok ВашТокен:ВашЛогин:ВашПароль

Для чего это нужно? Для удаленной работы на вашем сервере StableDiffusion. При загрузке в терминале, по мимо локального адреса, будет генерироваться внешняя ссылка, перейти на которую можно с любого другого места или устройства. Так же можно добавить аргумент –listen. Он позволяет работать на вашем сервере с любого устройства вашей локальной\домашней сети. В адресной строке со стороннего устройства нужно будет перейти по локальному адресу сервера+порт.

Еще перед всеми строками set в батнике можно написать вот такую строку

for /d %%i in (tmp\tmp*,tmp\pip*) do rd /s /q "%%i" & del /q tmp\tmp* & rd /s /q pip\cache

По заверению автора – чистит кэш и не дает разрастись папке нейросети через чур сильно.

Расширения

Список расширений для автоматика без которых, ну, как без рук себя чувствую.

Всех их можно скачать через Extention-Avaible-Load from: через ваш веб-интерфейс. Так же есть ссылка на страницы гитхаба, где авторы расширений подробно о них рассказывают.

- Controlnet

Думаю, что не нуждается в представлении. Имеет просто кучу применений, из которых самые очевидные – позы персонажей, стилизация изображения.

Модели разных типов, размеров и для разных задач можно скачать здесь

Тык
Тык
и Тык

Переходим во вкладку Files and versions и качаем оттуда файлы с расширением .safetensors. Это и есть наши модели. Положить их нужно в папку автоматика %\ stable-diffusion-webui\models\ControlNet.

- Canvas Zoom

Будет очень полезен, если вы много времени проводите во вкладе inpaint. Позволяет отделять ваше изображение от страницы отдельным слоев, дает возможность его увеличить, имеет кучу настраиваемых хоткеев.

- Image Browser

Добавляет возможность просматривать раннее сгенерированные изображения прямо в интерфейсе автоматика. Без него приходится лезть в папку StableDiffusion, искать там папку outputs, там искать свое изображение, случайно ее закрыть и все повторить еще раз, а может и еще раз)

- After Detailer

Прямо из вкладки txt2img позволяет исправлять лица, силуэты и местами руки. С этим расширением проводишь гораздо меньше времени в inpaint.

- Dynamic Thresholding

Предназначен сглаживать шум и убирать эффект пережжённого изображения при больших значениях CFG Scale. На некоторых моделях просто необходим.

- Lycoris

Позволяет использовать файлы Lucoris. Принцип похож на Lora, но не Lora) Точно так же на том же civitai можно найти файлы lycoris, которые будут добавлять вашим генерациям стилизацию или любые другие дополнительные эффекты.

- Civitai Helper

Интеграция с сайтом civitai.com, откуда, скорее всего, вы и скачали большинство своих моделей, лор, ликорисов и текстовых инверсий. После сканирования добавляет обложки и быстрые функции вашим карточкам. Возможность перейти на страницу раздачи на civitai, добавить ключевые слова сразу в ваш промпт.

- Dynamic Prompts

Имеет сразу несколько функций в себе. Дает возможность стилизовать ваши генерации при помощи Wildcards, которые можно скачать на civitai или написать самому. Добавляет ползунок Magic Prompt. В зависимости от силы воздействия будет изменять и добавлять что-то в ваш изначальный промпт.

- Aspect Ratio Selector Plus

Добавляет кнопки быстрой смены разрешения и соотношения сторон для генерации.

Для комфортной работы и генерации практически любых изображений этого должно быть достаточно.

Плюс сверху можно поставить несколько расширений для "поиграться" с генерацией видео

- CD-CN-Animation

Расширение создает весьма интересные видео ролики. Если правильно подобрать настройки, то можно добиться очень качественных и динамичных результатов. По нему я делал обзор вот тут .

-Infinite Zoom

Создает видео с бесконечным эффектом удаления или приближения картинки. Очень редко там получалось что-то достойное, но позалипать очень круто)

-Deptmap

Расширение вычисляет из вашего изображения маску глубины и тепловую маску и на их основе делает небольшие ролики с параллакс эффектом.

А теперь, когда все готово, то мы можем пойти и сгенерировать каких-нибудь красивых картинок

Надеюсь, что вам никогда, ничего переставлять не придется, а мой список расширений и пара настроек была вам полезна =)

Так же буду рад вас видеть в своем телеграм канале, где я выкладываю свои нейро-арты, делюсь промптами, фотографиями и рассказываю про обработку:
https://t.me/artemphotography

Так же буду рад вас видеть в своем телеграм канале, где я выкладываю свои нейро-арты, делюсь промптами, фотографиями и рассказываю про обработку:
https://t.me/artemphotography