VideoCrafter1: новый генератор нейровидео с открытым исходным кодом, и он лучше чем Gen-2 от RunWay⁠⁠

Генерация видео с помощью нейросетей все больше привлекает внимание как в академической среде, так и в промышленности. Несмотря на то, что коммерческие инструменты могут создавать правдоподобные видео, доступных открытых моделей для исследователей и инженеров остается немного.

Встречайте две модели для генерации высококачественного видео: Text to Video и Image to Video. Модели T2V создают видео на основе заданного текстового запроса, а модели I2V включают в себя генерацию на основе изображения.

Предложенная модель T2V может генерировать реалистичные видео кинематографического качества с разрешением 1024×576, превосходя другие открытые модели T2V по качеству.

Модель I2V разработана для производства видео, которые строго придерживаются содержания предоставленного эталонного изображения, сохраняя его содержание, структуру и стиль. Эта модель является первой открытой базовой моделью I2V, способной преобразовывать заданное изображение в видеоклип, сохраняя ограничения на сохранение содержания.С точностью можно сказать, что эти открытые модели генерации видео внесут значительный вклад в технологические достижения в сообществе.

Узнать о технологии подробнее:

Исследование

Страница проекта

Код на Гитхаб