varloni

Софт:

Stable DIffusion + ControlNet+ADdetailer, Affter Effects, Premiere Pro, Photoshop, Topaz Video AI

Настройки SD:

Promt:

(masterpiece), (best quality:1.3), 8k wallpaper, smooth gradients, 1girl, clean wall, detailed face, smile

Negative prompt:

(worst quality, low quality, normal quality:1.5), nude, nsfw, animals,

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 4165694814, Size: 512x920, Model hash: cca17b08da, Model: darkSushiMixMix_225D, Denoising strength: 0.45, Clip skip: 2,

ADetailer model: face_yolov8n_v2.pt, ADetailer prompt: "beautiful face, blue eyes", ADetailer confidence: 0.3, ADetailer dilate/erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer version: 23.7.5,

ControlNet 0: "preprocessor: softedge_hed, model: control_v11p_sd15_softedge [a8575a2a], weight: 1.5, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: My prompt is more important, preprocessor params: (512, 64, 64)",

ControlNet 1: "preprocessor: none, model: diff_control_sd15_temporalnet_fp16 [adc6bd97], weight: 0.7, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: My prompt is more important, preprocessor params: (512, 64, 64)"

Действия:

1. Качаем видео https://www.douyin.com/video/7196643356968094988

2. Дальше я открыл исходник в AE. В первую очередь мне нужно было создать PNG секвенцию, а также уменьшить частоту кадров.. Помимо этого, я хотел устранить деформации фона. Значит делаем маску. Уменьшил частоту кадров до 15 фпс (оригинал 30), маску я хотел сделать с помощью инструмента ROTO BRUSH, но работа была достаточно кропотливая, а мне лень. Тогда я взял плагин Mask Promter, и с его помощью на маску ушло около 10 минут, рендер же занял около 20 минут, это с максимальным качеством сглаживанием.

3. Экспортируем материал и отдельно маску в PNG секвенции. Всего вышло 154 кадра.

Сама маска.

4. Запускаем СД, выставляем все настройки, фиксируем сид и запускаем генерацию во вкладе BATCH.

Первая строка - Входная секвенция

Вторая - выходная директория, куда будет сохранятся результат.

Третья - входная директория маски.

На выходе получаем модель на оригинальном фоне. Уже можно использовать.

5. Запускаю Premiere (выбор монтажки не сильно важен, но Davinci подойдет лучше)

В монтаже выстраиваем слои. Из оригинала берем только звук, затем кладем нашу анимацию и маску.

Важно: При импорте PNG секвенций, проверяйте с какой частотой кадров они импортируются. У меня в настройках указано 25 кадров, поэтому мне нужно переключить этот параметр на 15 кадров.

Теперь в монтаже вырезаю модель маской (через режим Luma Matte). И получаю прозрачный фон, теперь его можно заменить. Пример ниже. Тень добавлена.

На этом примере хорошо видно как маска неидеально вырезает модель. Вероятно стоит попробовать отделять фон уже после генерации, а не до.

6. Делаем фон. Можно оставить оригинальный фон, можно подложить сплошной цвет или повесить фото бара.

Генерируем фон из оригинала. Выбираем PNG из исходника.

Удаляем все лишнее в Photoshop

Пропускаем через SD

7. Возвращаемся в монтажку. Докидываем фон, немного скейлим его по ключам. Делаем цветокоррекцию фона и модели, добавляем тень. И главное используем де-Фликер (в моем случае это Flicker Free).

8. Экспортируем материал как видео. Разрешение 540х960, 15 fps.

9. Запускаем Topaz Video AI, делаем апскейл х2 и увеличиваем частоту кадров до 30.

Все.

PS: GPU 2070s 8 gb

Итак. Публикую свой процесс создания мувика сгенерированного нейросетью (3 вариации). Был тут пост, где я в комментариях выложил подобное видео. После чего пришлось сделать эту публикацию.

Не стоит рассматривать это видео как: гайд, обучение и тому подобное. Я занимаюсь подобным промыслом не больше 3 недель. И к тому же, испытываю неполное пониманием к тому, как качественно формировать запрос (промт) в Stable Diffusion. Промты использованные в видео, я "нашел".

Стоит отметить, что полученная генерация, достаточно хорошего уровня, и это заслуга крупных и средних планов. Если же у нас человек в полный рост, то сделать генерацию качественно или стабильно, у меня не получается. Всегда проблемы с лицом. Может дело в промтах, а может нужно использовать дополнительные инструменты. Так что рассказывайте, кто знает.