Google показала нейросеть для генерации видео
Lumiere создаёт ролики по текстовому запросу, «оживляет» изображения или использует их как референс визуального стиля. При этом итоговое качество поражает.
Lumiere - это модель диффузии текста в видео, которая отлично справляется с синтезом видео с реалистичным, разнообразным и согласованным движением. Эта модель представляет собой значительное достижение в области синтеза видео благодаря использованию архитектуры Space-Time U-Net.
В отличие от традиционных моделей, которые генерируют удаленные ключевые кадры с последующим временным сверхразрешением, Lumiere генерирует всю временную длительность видео за один проход. Такой подход обеспечивает глобальную временную согласованность и позволяет решать различные задачи по созданию контента и редактированию видео.
Ключевые особенности:
Преобразование изображений в видео: Преобразование неподвижных изображений в видео на основе заданных подсказок.
Стилизованная генерация: Использование одного опорного изображения для создания видео в заданном стиле.
Стилизация видео: Применение текстовых методов редактирования изображений для последовательного редактирования видео.
Синемаграфы: Анимация содержимого в заданной пользователем области изображения.
Инкрустация видео: Редактирует видео, маскируя и заменяя части видеокадра.
Разработанный командой исследователей и стажеров Google Research, Lumiere демонстрирует самые современные возможности создания видео на основе текста.
Релиз в этом году. Учитывая объёмы информации, доступные Google для обучения ИИ, должно получиться нечто.
Хотите быть в курсе полезных ии сервисов для работы, учебы и облегчения жизни? Подпишитесь на мой канал в Telegram НейроProfit, там я рассказываю о том, как зарабатывать с помощью нейросетей и использовать ии - сервисы для бизнеса 😉