Без звука + Гайд

Поможет в этом новая фича чат-бота - плагины. Один из них, Wolfram, можно использовать для монтажа видео.

От нас требуется лишь загрузить ролик и написать, что нужно с ним сделать.
Наконец-то можно тикток не снимать, а писать)))

Бесплатный чат-бот ChatGPT в телеграмм - ссылка

Теперь вы сразу можете загрузить видео на вход и получить измененное с помощью ControlNet видео на выходе, больше не надо конвертить видео с ютуба в гиф и обратно.

Функционала пока не много только FPS, но будем надеяться что автор продолжит развивать этот скрипт, он очень полезен.

Выражаем большую признательность и благодарность участнику filarius.

Расширение доступно на гитхабе автора: https://github.com/Filarius/video2video

Устанавливаем так же как и все расширения указав ссылку на гитхаб на вкладке Extensions - Install from URL, не забываем перезагрузить юи. Автор говорит, что даже FFMPEG отдельно ставить не надо, все само заведется.

Помните, что устанавливая пользовательские расширения что-то может пойти не так, делайте это лишь в том случае, если сможете потом все с нуля переустановить.

Мои ссылки: телеграм канал, чат нейро-операторов, бусти.

Приступим к новой теме, она легкая, но я хочу убедиться что все, все понимают и нет пробелов.

Интерфейс:

Пройдемся по настройкам основной вкладки. (Обозреваемая картинка в середине списка, чтобы постоянно не скролить)

1. Модель, которая используется для генераций. Если просто то отличаются друг от друга так называемыми весами, одна будет лучше выдавать аниме, другая реализм, третья голых девиц. Скачать модели можно на сайте https://civitai.com/

2. Позитивный промпт — это то, что мы ХОТИМ видеть на картинке. Например, A girl in a summer dress standing in a field

3. Негативный промпт — это то, что мы НЕ ХОТИМ видеть на картинке. Например, Asian. Попробуйте не поставить Asian и каждую генерацию будете получать азиата)

4. Семплер. Коротко то как будет интерпретироваться шум, из которого собственно модель и делает картинку. Как выбрать семплер будет в следующих статьях.

5. Сколько раз нужно пройтись по вашим промптам. Слишком маленькой значение выдаст артефакты, слишком большое часто бессмысленное, так как с каждым новым проходом шума на картинке все меньше, а значит и возможностей для вносимых изменений меньше. Значение в 20 шагов можно считать универсальных для большинства настроек. Но есть нюансы, о которых лучше расскажу в следующих статьях. Эта сильно всех влияет на время генерации. Так как каждая единица это дополнительный проход по изображению.

6. Размер выходного изображения. Обычно модели обучаются на картинках 512 на 512, 768 на 768, то есть на квадратных и чем больше вы будете отходить от этих значений тем больше вероятность задвоений. Будут создаваться близнецы и люди в людях. Я предпочитаю генерировать в 768 на 1024. Так же сильно влияет на время генерации.

7. Batch count – сколько картинок сгенерировать подряд. Batch size – сколько картинок генерировать единовременно. Не влияет на качество получаемых картинок.

8. CFG Scale. Очень влияет на качество картинок. Чем больше масштаб тебе ближе картинка должна быть к вашим промтам и казалось бы ставь на максимум и готово, но нет. Полученный результат проще всего будет назвать «Перестаралась». Например, если добавить веснушки, но на высоких значениях они будут размером с горох. Это значение дает большое поле для экспериментов. О том как его выбрать поговорим в следующих статьях. Рекомендуемые значения от 3 до 11.

9. Seed. Нейросеть генерирует картинку для шума. Если с одинаковыми настройками взять 2 одинаковые картинки с шумом то и результат получится одинаковым. Значение -1 каждую генерацию выбирает случайный набор шума. Можете задать свой, можете взять чужой, чтобы повторить его генерацию. Так же понадобится когда картинка вам понравилась, но вы хотите ее слегка изменить, например пройтись большим количеством семплов или с другим cfg. Спойлер, это может изменить ее довольно сильно. Как менять слегка расскажу в следующих статьях.

10. Когда все настройки выставлены можем генерировать нашу картинку.

Галочка Restore face – может исправить искривленное лицо. Справляется не всегда.

Галочка Hires. fix – увеличивает разрешение вашей картинки, но лучше это делать после, во вкладке Extras так как прилично увеличивает время генерации.

Галочка Tiling - для создания бесшовных текстур. Может пригодиться 3д модельерам и иллюстраторам.

Вот так выглядит типичный процесс генерации. Вбили промпты. Как это делать быстро расскажу в другой статье. Выбрали модель(Deliberate). Семплер(DPM++ 2M Karras), определились с количеством шагов (Sampler steps 24). Галочка на Restore face и Hires. fix чтобы получить картинку побольше и без косяков на лице. Ширина, высота CFG Scale.

Получаем Скарлет, царицу полей.

Промпт в текстовом виде:

Young Scarlett Johansson, ((slightly covered by a cloth huge breasts)), wear very short t-shirt, white hair and standing in a field of tall grass with a blue sky in the background and a green dress, portrait photography, a character portrait, art photography

Negative prompt: deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, ((((mutated hands and fingers)))), watermark, watermarked, oversaturated, censored, distorted hands, amputation, missing hands, obese, doubled face, double hands, asian, b&w, black and white, sepia, anime, doll, 3d, render, double hands

Steps: 24, Sampler: DPM++ 2M Karras, CFG scale: 3.5, Seed: 2701198923, Face restoration: CodeFormer, Size: 512x512, Model hash: d8691b4d16, Model: deliberate_v11, Denoising strength: 0.7, Hires upscale: 2, Hires upscaler: Latent

В следующий раз расскажу как делать что-то на основе другого.

Нейросети меня неплохо увлекли, если вас тоже приглашаю в телеграмм группу где сможем обсуждать проблемы, нововведения, делиться своими работами, опытом и учиться друг у друга. https://t.me/neuralphotoart_chat.

И канал где я выкладываю гайды чуть раньше чем тут(просто потому что там начал раньше) и картинки, которые могут нарушать правила площадки https://t.me/neuralphotoart.

Проект не коммерческий, а построен на чистой любви к прекрасному и энтузиазме.

Первое что нам нужно это расширение Steps animation, открываем Extensions, Available, Load from, находим Steps animation, жмем Install, обратно на вкладку Installed и жмем Apply and restart UI и собственно все было бы готово если бы не долбанный FFmpeg который придется поставить ручками, потому что у меня он ни разу не поставился автоматом как должен, а он очень нужен и для других расширений.

1. Качаем архив c FFmpeg тут открывается обычным WinRAR.

2. Распаковываем архив в папку C:\ffmpeg чтобы в конечном итоге у вас получился вот такой путь до файла C:\ffmpeg\bin\ffmpeg.exe

3. Копируем текст - Изменение переменных среды текущего пользователя жмем кнопку win на клавиатуре и затем ctrl+v и enter, если все сделано правильно, то у вас открылось окно переменные среды. Если нет, то вот тут инструкция с картинками но на английском.

4. Кликаем на переменную Path в разделе Системные переменные, затем Создать, затем просто вставляем путь C:\ffmpeg\bin\ и сохраняем все.

5. Вы великолепны.

Готово теперь у вас появился новый пункт на всех страницах с генерацией Steps animation

Выглядит не очень приветливо, но максимально прост в эксплуатации

Script Enabled - Если не включена, то видео не будет генерироваться, снимайте когда не нужна, ибо ЗНАЧИТЕЛЬНО замедляет генерацию.

Галки Codec используйте x264 на данный момент это самый востребованный и актуальных кодеков, но можете попробовать и другие, если знаете что делаете.

Interpolation метод интерполяции между шагами, то, как скрипт попробует дорисовать отсутствующее переходы между кадрами, лично мне симпатичен Blend либо вообще без интерполяции. Попробуйте какой милее вашему глазу.

Interpolation - blend

Interpolation - mci

Interpolation - none

Duration длительность анимации, сколько установите такой длины и будет в секундах.

Skip steps позволяет пропускать часть шагов вместо этого они будут дорисованы интерполяцией, большого смысла не вижу использовать.

Delete intermediate удалить кадры после создания видео, удаляет папку с кадрами после того как создано видео.

Create animation если не нажата, то видео не будет создано, только кадры из которых вы сможете сами создать анимацию в стороннем редакторе.

Path for intermediate files и Path for output animation file - путь до папок с кадрами из которых собирается анимация и путь до папки с анимацией, по умолчанию папки будут созданы внутри стандартных выходных txt2img-images и img2img-images соответственно.

Если видео создается маленьким и не красивым - Отправляемся в Settings - Live Previews - и в разделе Image creation progress preview mode и нажимаешь на Full на то время пока генерируешь гифки, не забудь вернуть потом обратно, иначе замедлишь себе генерацию, я обычно использую Approx NN.

А вы знали, что Live preview subject позволяет переключить то, что изображено на превью, можно делать превью только негативного промпта и контролировать изменения таким образом.

И вот у тебя в папке stable-diffusion-webui\outputs\txt2img-images\animation появилось небольшая тепленькая куча свежих видео, но как сделать их гифками, ведь видео сами не воспроизводятся в Телеграм например. Просто используй любой онлайн конвертор, мне показался неплохим вот этот, у него совсем нет настроек, если знаешь лучше кидай в комменты буду благодарен.

А теперь секрет миксинга

Если написать в промпте конструкцию вида [brutal man:dinosaur:20] и поставить 50 шагов, то первые 20 шагов будет генерироваться брутальный мужчина, а после 20 шагов будет генерироваться динозавр. Отличный лайфхак чтобы замисковать несколько объектов или тем, попробуйте совместить фентези стиль и киберпанк, например.

И вот тут самое время проверить чему вы научились с созданием гифочек, жду ваши результаты в комментарии.

Нейро-канал где я учусь разбираться с нейросетями вместе с вами, подписывайтесь

Чат нейро-операторов где можно задать вопросы и поделиться опытом