Софт:

Stable DIffusion + ControlNet+ADdetailer, Affter Effects, Premiere Pro, Photoshop, Topaz Video AI

Настройки SD:

Promt:

(masterpiece), (best quality:1.3), 8k wallpaper, smooth gradients, 1girl, clean wall, detailed face, smile

Negative prompt:

(worst quality, low quality, normal quality:1.5), nude, nsfw, animals,

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 4165694814, Size: 512x920, Model hash: cca17b08da, Model: darkSushiMixMix_225D, Denoising strength: 0.45, Clip skip: 2,

ADetailer model: face_yolov8n_v2.pt, ADetailer prompt: "beautiful face, blue eyes", ADetailer confidence: 0.3, ADetailer dilate/erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer version: 23.7.5,

ControlNet 0: "preprocessor: softedge_hed, model: control_v11p_sd15_softedge [a8575a2a], weight: 1.5, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: My prompt is more important, preprocessor params: (512, 64, 64)",

ControlNet 1: "preprocessor: none, model: diff_control_sd15_temporalnet_fp16 [adc6bd97], weight: 0.7, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: My prompt is more important, preprocessor params: (512, 64, 64)"

Действия:

1. Качаем видео https://www.douyin.com/video/7196643356968094988

2. Дальше я открыл исходник в AE. В первую очередь мне нужно было создать PNG секвенцию, а также уменьшить частоту кадров.. Помимо этого, я хотел устранить деформации фона. Значит делаем маску. Уменьшил частоту кадров до 15 фпс (оригинал 30), маску я хотел сделать с помощью инструмента ROTO BRUSH, но работа была достаточно кропотливая, а мне лень. Тогда я взял плагин Mask Promter, и с его помощью на маску ушло около 10 минут, рендер же занял около 20 минут, это с максимальным качеством сглаживанием.

3. Экспортируем материал и отдельно маску в PNG секвенции. Всего вышло 154 кадра.

Сама маска.

4. Запускаем СД, выставляем все настройки, фиксируем сид и запускаем генерацию во вкладе BATCH.

Первая строка - Входная секвенция

Вторая - выходная директория, куда будет сохранятся результат.

Третья - входная директория маски.

На выходе получаем модель на оригинальном фоне. Уже можно использовать.

5. Запускаю Premiere (выбор монтажки не сильно важен, но Davinci подойдет лучше)

В монтаже выстраиваем слои. Из оригинала берем только звук, затем кладем нашу анимацию и маску.

Важно: При импорте PNG секвенций, проверяйте с какой частотой кадров они импортируются. У меня в настройках указано 25 кадров, поэтому мне нужно переключить этот параметр на 15 кадров.

Теперь в монтаже вырезаю модель маской (через режим Luma Matte). И получаю прозрачный фон, теперь его можно заменить. Пример ниже. Тень добавлена.

На этом примере хорошо видно как маска неидеально вырезает модель. Вероятно стоит попробовать отделять фон уже после генерации, а не до.

6. Делаем фон. Можно оставить оригинальный фон, можно подложить сплошной цвет или повесить фото бара.

Генерируем фон из оригинала. Выбираем PNG из исходника.

Удаляем все лишнее в Photoshop

Пропускаем через SD

7. Возвращаемся в монтажку. Докидываем фон, немного скейлим его по ключам. Делаем цветокоррекцию фона и модели, добавляем тень. И главное используем де-Фликер (в моем случае это Flicker Free).

8. Экспортируем материал как видео. Разрешение 540х960, 15 fps.

9. Запускаем Topaz Video AI, делаем апскейл х2 и увеличиваем частоту кадров до 30.

Все.

PS: GPU 2070s 8 gb

Инструменты: A1111, Img2Img, ControlNet, Davinci Resolve, Topaz Video Ai

Модель: Dark Sushi Mix

Положительные подсказки: (masterpiece), (best quality:1.3), 8k wallpaper, smooth gradients, 1girl, clean wall, detailed face, black eyes, realistic eyes, smile

Отрицательные подсказки: (worst quality, low quality, normal quality:1.5), nude, nsfw, animals, [добавьте свои любимые отрицательные подсказки]

Настройки: Шаги: 20, Сэмплер: DPM++ 2M Karras, Масштаб CFG: 7, Сила шумоподавления: 0.45, Пропуск клипа: 2, ControlNet: Вес Softedge_hed: 1.5, Моя подсказка важнее; Temporalnet, предварительный процессор: нет, вес: 0.7, Моя подсказка важнее

Рабочий процесс: Я начал с извлечения видео в изображения, 18 кадров в секунду достаточно для медленно движущихся видео, 30 кадров в секунду хорошо для динамичных. Я взял один кадр и начал прототипирование подсказок и настроек в Img2Img, вот некоторые полезные наблюдения: В целом, с Img2Img, большее шумоподавление означает больше изменений и больше мерцания. Чтобы уменьшить его, сбалансируйте шумоподавление и масштаб CFG. Сэмплер и ControlNet также имеют значение, я получил лучшие результаты с Euler a и Softedge_head.

Когда я достигаю нужного стиля, наступает время для пакетной генерации. Это долгий процесс и займет несколько часов.

После завершения генерации пришло время отрендерить видео. Я не буду вдаваться в подробности использования программного обеспечения для редактирования видео, но могу дать несколько важных заметок: Используйте устранение мерцания, даже несколько раз, если это необходимо. Для видео с низким fps (менее 30) используйте методы интерполяции кадров, такие как оптический поток. Обрежьте видео до желаемых пропорций. Вы можете перекрасить видео, если хотите.

Последний шаг - улучшение видео с помощью Topaz Video Ai. Это очень простая программа в использовании, просто измените частоту кадров на 60 и увеличьте до желаемого разрешения. Поздравляю, теперь у вас есть красивое видео с танцующей аниме-девушкой!

Исходное видео: https://www.douyin.com/video/7196643356968094988

Источник - Арт-нейросети от Nerual Dreming - подпишись, будет интересно!