Видео из изображения в StableDiffusion⁠⁠

Привет!
Хочу рассказать о расширении для Stable Diffusion, которое позволяет делать интересные короткие видео. Сами ролики получаются хоть и не очень контролируемые в процессе гениреции, но весьма эффектно выглядящие.

Расширение называется SD-CN-Animation.
https://github.com/volotat/SD-CN-Animation
Поставить его можно из вкладки Extension в вашем UI. После установки перезапустите ваш сервер, чтоб на панели появилась новая вкладка SD-CN-Animation.

Расширение позволяет генерировать видео из видео и видео из изображения. Рассмотрим второй вариант – генерацию видео из изображения.

Для начала сгенерируем наш референс. У меня это будет, скажем, цветок.
Выбираем любимую модель, настройки и генерируем.

Переходим во вкладку с нашим расширением, внутри него переходим во вкладку txt2vid и вставляем в окно input image наше изображение. Далее выставляем размеры, прописываем промпт, негативы и CGF Scale как при первой генерации.

Опускаемся чуть ниже.
Seed можно сбросить – тогда ваша генерация будет более вариативна.
Processing strength ( step 1 ) – можно оставить на значении 0,85. У меня на конечный результат этот ползунок не очень влияет.
Fix frame strength ( step 2 ) – по умолчанию стоит на 0,35. В принципе приемлемый результат. Влияет на визуальный эффект таким образом, что если показатель будет слишком большой, то видео будет “уплывать” вверх, а если очень низкий, то будет совсем статичное. Я выставил значение 0,4.
Сэплер и количество шагов ставим как при генерации первого изображения.
Length ( in frames ) и Video FPS – продолжительность и количество кадров в секунду. Я поставил 120 и 12.

В итоге мы получили вот такой интересный результат.

Результат можно найти в папке автоматика outputs – sd-cn-animation – txt2vid

Генерация с такими значениями на моей RTX 3060 ti занимает, примерно, 10 минут.

Так же буду рад вас видеть в своем телеграм канале, где я выкладываю свои нейро-арты, делюсь промптами, фотографиями и рассказываю про обработку:
https://t.me/artemphotography