https://github.com/guoyww/AnimateDiff

Более стабильные формы, движения значительно правдоподобнее, отсутствие мерцания элементов, учет объема объектов, требуется не более 12GB видеопамяти.

Ссылки из видео

🔧 Скачать Forge: https://github.com/lllyasviel/stable-diffusion-webui-forge
💻 Аргументы командной строки: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki...
set COMMANDLINE_ARGS= --ckpt-dir G:\AI\stable-diffusion-webui\models\Stable-diffusion --lora-dir G:\AI\stable-diffusion-webui\models\Lora --embeddings-dir=G:\AI\stable-diffusion-webui\embeddings --theme=dark
🎨 Расширение для генерации с прозрачным фоном: https://github.com/layerdiffusion/sd-forge-layerdiffuse
😼 Большой стрим с тестированием layerdiffuse: https://boosty.to/neuro_art/posts/a9c9ab46-4409-40a9-beeb-f3...
🎓 Лучший курс по нейросети Fooocus в галактике: https://fooocus.ru/

Мои ссылки

🚀 Подпишись на Бусти там записи стримов, эксклюзив и ролики выходят раньше: https://boosty.to/neuro_art

📢 Подпишись на основной телеграм, чтобы ничего не пропустить: https://t.me/neuro_art0

🎓 Только изучаешь нейросети? Начни с наших обучающих курсов: https://neurophotograph.ru/catalog

📱 Подпишись сразу на все мои нейро-каналы в телеграм: https://t.me/addlist/LQ-fUTyhVjEzYjIy

Для того чтобы использовать stable diffusion в фотошопе нужно установить этот плагин (бесплатный, видео с установкой (на англ), в видео можно глянуть как оно все работает), а также у вас должен быть установлен Automatic1111 (инструкция по установке). В данном случае автор для лучшего сохранения контуров использовал Controlnet с моделью canny.

Мем про сову перестает быть мемом

Нейронки интересная и непростая штука, поэтому если хотите лучше в них разобраться, заглядывайте ко мне в канал, там рассказываю как работать с SD.

Knight Rider (Рыцарь дорог) - культовый американский сериал, выходивший с 1982 по 1986 год. Главную роль в нем исполнил Дэвид Хассельхофф, сыгравший Майкла Найта - борца с преступностью, которому помогал уникальный автомобиль KITT (Knight Industries Two Thousand). Этот высокотехнологичный напарник был создан на базе Pontiac Firebird Trans Am 1982 года и обладал искусственным интеллектом, мог разговаривать человеческим голосом и был напичкан футуристическими гаджетами. Главной визитной карточкой KITTа стала красная светящаяся полоса на передней части, сканирующая пространство перед машиной.

Сериал стал настоящим феноменом поп-культуры 80-х, а KITT превратился в один из самых узнаваемых автомобилей в истории телевидения, повлияв на целое поколение и став символом технологического будущего. В России особую популярность шоу обрело в 90-х и начале 2000-х, когда транслировалось на СТС. Для многих российских подростков того времени возвращение из школы было связано с просмотром приключений Майкла Найта и его верного четырёхколёсного друга, а фраза "Здравствуй, Майкл" голосом KITTа стала культовой. И я не был исключением.

P.S. А помните эти титры, свело олдскулы

Создано в Forge, на FLUX.1 [dev] модели Artsy Dream с использованием Пиксель Арт лоры и расширения.

Промпт и настройки генерации:

A pixel art scene with text title 'Knight Rider' in bright red LED digital font at the top. A black 1982 Pontiac Firebird Trans Am with its signature flat, extended front end design. The iconic red scanner bar is a thin, horizontal light strip embedded in a completely flat, wide black front fascia that extends forward of the hood. The car has pop-up headlights hidden in the black front panel. Shown at a dynamic three-quarter angle, jet black bodywork with retro-futuristic aerodynamic modifications. The thin red scanner light spans the entire width of the flat front nose. Rendered in 16-bit style with pixel dithering for metallic highlights. Dark environment emphasizes the menacing front design and the glowing scanner bar. Motion blur and speed lines suggest fast movement, tires kicking up pixelated dust.

<lora:Pixel_Art_-_Style:1> pixelart

Если такой контент вам по душе - ставьте плюсик, продолжу серию артов про самые культовые автомобили.

Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Всех обнял и удачных генераций.

Инструкции будут указаны для актуальной версии автоматика, если у вас старая - обновитесь.

***

Материал подготовлен телеграм каналом Neurogen News. Здесь я публикую новости, ссылки на новые релизы и гайды по Stable Diffusion.

Обновляем драйвера видеокарты

Самый базовый, но и самый основной шаг. Время от времени работа драйверов со Stable Diffusion улучшается, что позволяет получить увеличенную скорость генераций.

Отключаем планирование графического процессора

По неизвестной на данный момент причине, планирование графического процессора с аппаратным ускорением в Windows 10 и 11 вызывает серьёзную просадку производительности на видеокартах Nvidia (возможно и на других тоже, к сожалению, нет информации подтверждающей или отрицающей это).

Отключить ее можно следующим образом:

Откройте Параметры экрана. В Windows 11 в настройках нажмите «Графика» в разделе «Сопутствующие параметры», а в Windows 10 — «Настройки графики» ниже раздела «Несколько дисплеев». В Windows 11 дополнительно перейдите в раздел «Изменение стандартных параметров». Отключите, если у вас включена эта функция и перезагрузите ПК.

Переходим в Изменение стандартных параметров графики

Отключаем Планирование графического процессора

Настраиваем переменные в bat файле webui-user.bat

Если у вас видеокарта с 8 Gb видеопамяти и более:

Открываем webui-user.bat в блокноте или любом другом текстовом редакторе.

В строке

set COMMANDLINE_ARGS=

указываем следующие значения:

• Если у вас видеокарта поколения RTX либо карта от AMD:

set COMMANDLINE_ARGS= --opt-sdp-attention --upcast-sampling --opt-channelslast

opt-sdp-attention - включает метод перекрестного внимания SDP, встроенный в Torch 2.0 и 2.1. Он позволяет эффективнее работать с видеопамятью и увеличивает скорость генерации.

upcast-sampling - выборка по восходящему потоку. Не имеет эффекта при использовании --no-half. Обычно дает результаты, аналогичные --no-half, с лучшей эффективностью при использовании меньшего объема памяти. Обычно дает небольшое ускорение.

opt-channelslast - Неоднозначный пункт. Активирует альтернативный режим работы с видеопамятью в torch, должно ускорить генерацию, но на слабых системах или системах с процессорами с низкой частотой или старой архитектурой - может вызывать замедление. Поэтому индивидуально.

• Если у вас видеокарта поколения GTX:

set COMMANDLINE_ARGS= --xformers --upcast-sampling

xformers - метод перекрестного внимания от Meta (Facebook). Также улучшает работу с видеопамятью и ускоряет генерацию, как и SDP. По заявлениям пользователей, лучше работает на слабых картах чем SDP.

Также, для всех карт Nvidia, стоит добавить следующие строки:

set CUDA_MODULE_LOADING=LAZY

Данная переменная активирует режим отложенной загрузки ненужных модулей CUDA. Направлено на экономию видеопамяти.

set NUMEXPR_MAX_THREADS=16

где 16 - кол-во потоков вашего процессора.

set PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.9,max_split_size_mb:512

Запрещает torch разбивать блоки, превышающие этот размер (в МБ). Это может помочь предотвратить фрагментацию и может позволить выполнять некоторые пограничные рабочие нагрузки без нехватки памяти.

Таким образом, ваш webui-user.bat должен иметь примерно следующее параметры:

Текст для копирования:

@Echo off
set PYTHON=
set GIT=
set VENV_DIR=
set CUDA_MODULE_LOADING=LAZY
set NUMEXPR_MAX_THREADS=16
set PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.9,max_split_size_mb:24
set COMMANDLINE_ARGS= --opt-sdp-attention --upcast-sampling
call webui.bat

Настройки в Automatic1111

Заходим в Settings, переходим в Sampler Parameters, и для ползунка Negative Guidance minimum sigma выставляем значение 3. Сохраняем.

Данный твик ускоряет генерацию за счет снижения значения cfg для негативного промта под конец генерации.

Устанавливаем Token Merging (ToMe)

ToMe позволяет ускорить генерацию с небольшим падением детализации изображения, за счет объединения некоторых избыточных токенов.

Заходим в Extentions, переходим в Install from url и вставляем следующую ссылку:
https://github.com/SLAPaper/a1111-sd-webui-tome
и нажимаем Install. После установки появится сообщение, что установка закончена. Перезапускаем автоматик. По умолчанию, ToMe будет активирован.

Подробнее об установке и работе ToMe я рассказывал в следующем видео:

(Опционально) Отключаем Live Preview

Предпросмотр замедляет основной процесс генерации, и если вы хотите выжать еще немного скорости - отключите его. Зайдите в Settings, перейдите в Live previews и уберите галки на Show live previews of the created image и Show previews of all images generated in a batch as a grid. Примените настройки.

(Опционально) Используем модели, основанные на SD 2.1

По моим личным наблюдениям и тестам на RTX 3060 Ti и RTX 4090, а также по наблюдениям админов других тематических телеграм каналов, после майского обновления Automatic1111 генерация на моделях, основанных на версии SD 2.1 идет быстрее чем на моделях 1.5 при полностью одинаковых параметрах.

При тестировании на 3060 ti, включив все улучшения и оптимизации, я смог дополнительно получить ускорение на 20%.

Обновляем CUDNN

CUDNN - библиотеки от Nvidia для работы с нейронными сетями. Свежие версии этих библиотек, как правило, привносят улучшение производительности, особенно для карт поколения RTX30xx и выше.

Идем сюда: https://developer.nvidia.com/rdp/cudnn-archive выбираем самую актуальную версию для Cuda 11.x и скачиваем архив Local Installer for Windows (Zip)

Открываем архив, переходим в папку bin внутри архива.

Теперь открываем папку, где лежат файлы нашего Automatic1111, переходим в venv\Lib\site-packages\torch\lib

И теперь из нашего архива, где мы открыли папку bin, перекидываем все файлы с заменой в открытую нами папку lib.

Теперь мы обновили библиотеки Cudnn на самую актуальную версию.

Для тех, у кого 6 гб видеопамяти:

Для начала, вам необходимо выполнить все прошлые шаги.

Ваш webui-user. bat должен выглядеть примерно так:

--opt-sdp-attention --upcast-sampling --no-hashing --always-batch-cond-uncond --medvram

то есть, просто допишите параметры:

--no-hashing --always-batch-cond-uncond --medvram

Использование medvram немного снизит производительность, но позволит прилично снизить потребление видеопамяти. Чтобы снижение производительности было еще меньше, можно отключить предпросмотр при генерации в настройках автоматика.

Для тех, у кого 4 гб видеопамяти:

Ваш webui-user.bat должен выглядеть примерно так:

--opt-sdp-attention --upcast-sampling --no-hashing --always-batch-cond-uncond --lowvram

В зависимости от вашей видеокарты, попробуйте opt-sdp-attention заменить на xformers. Сравните результаты. То, что будет лучше работать с вашей картой будет необходимо оставить в bat файле.

Важно: оба параметра (xformers и sdp) не будут работать вместе. Будет активирован только один из них.

Если вы планируете генерировать, используя ControlNet или же использовать hi-res fix, то используете параметр lowram. Это очень сильно снизит производительность, но даст максимально экономное использование видеопамяти. Если же вы не собираетесь использовать вышеописанные функции, можете попробовать использовать также medvram.

***

На данный момент это все основные способы ускорения и оптимизации работы Automatic1111. Есть еще дополнительные способы, например, использовать linux вместо windows, или использовать wsl2, но они слишком сложные для обычного пользователя Stable Diffusion. При появлении новых статья будет дополняться.

***

Neurogen News - Новости, релизы и гайды из мира нейросетей
Нейрогенное искусство - авторский канал с нейросетевыми артами