Google представили долгожданное обновление Veo 3 — и теперь можно генерировать видео с озвучкой из своих изображений! Теперь не только бабушки в кресле, но и любые сцены, которые вы придумаете. Причём генерация по картинке доступна даже в Fast-модели.

🎬 Что стало лучше?

• ➕ Fast-модель теперь работает с изображениями, а не только по тексту

• ➕ Veo 3 теперь умеет добавлять озвучку на ваше изображение

• ➕ Исправлены проблемы с субтитрами (да, наконец-то!)

Попробовать в SYNTX.

Смешные видео с бабушками генерируют в VEO 3

Пример промпта:

Бабушка в платке и сарафане на фоне большой неоновой вывески SyntX говорит очень эмоционально на русском языке "Я что, я вот хотела в этом VEO3 поработать. А он требует VPN. Так я через SyntX зашла! Ещё и дешевле вышло!". Нет субтитров

Как сделать видео с бабушками в нейросети, подробно здесь Как сделать видео с бабушками в VEO 3: инструкция для генерации в SYNTX

2. Higgsfield AI

Higgsfield AI — нейросеть, специализирующаяся на генерации видео с участием людей на основе одного изображения. Она обеспечивает стабильность лиц, движений и выразительных ракурсов, что делает ее идеальной для создания персонализированного контента.

Инструмент, который превращает статичное лицо в живую эмоцию. Отлично подходит для сторис и рилс.

Ключевые особенности:

• Генерация видео с реалистичной анимацией людей.

• Стабильность лиц и движений на протяжении всего видео.

• Готовые шаблоны для рекламы и интеграции в культовые сцены.

• Поддержка платформ: TikTok, личный бренд, e-commerce.

3. Hailuo 02 (MiniMax)

Hailuo 02 — универсальная модель, отличающаяся сильной физикой, стабильными лицами и реалистичной анимацией. Она поддерживает как текстовые, так и визуальные запросы, что делает ее гибким инструментом для различных задач.

Ключевые особенности:

• Генерация видео по текстовым и визуальным запросам.

• Режимы виртуального оператора и референсов для точной настройки видео.

• Отсутствие звука и ограниченное разрешение, но ожидаются обновления.

🎬 Что такое Hailuo 02?

1. ➕ Умнее и качественнее предыдущих поколений

2. ➕ Лучше справляется с динамикой, деталями и сменой сцен

3. ➕ Поддерживает качество от 768p и до 1080p

4. ➕ В 768p можно делать 6 и 10 секунд

Пример:

4. Kling AI 2.1 (Kuaishou)

Kling AI 2.1 — мощная модель для генерации видео на основе изображений, поддерживающая динамику, сложную физику и три уровня качества. Особенно хорошо справляется с экшен-сценами и быстрыми движениями.

Ключевые особенности:

• Генерация видео с динамичными сценами и сложной физикой.

• Три уровня качества для различных потребностей.

• Проблемы с множественными персонажами в одном кадре, но остается топ-инструментом для видео на основе изображений.

Kling 2.1:

1. ➕На фоне 2.0 ощущается как шаг в сторону кино.

2. ➕Больше воздуха, плавности, внимания к свету и мимике.

3. ➕Движения камеры естественнее, а сцена как будто «дышит».

📎Если хочется глубины, эмоций, ритма и кинематографичной подачи - Kling 2.1 даёт этот эффект по умолчанию.

Пример:

5. Seedance 1.0 (ByteDance)

Seedance 1.0 — новая вершина качества в генерации видео, предлагающая лучшую анимацию, стабильность персонажей и стиль. Хотя пока отсутствует звук, визуально модель превосходит многие аналоги.

Ключевые особенности:

• Высококачественная анимация и стабильность персонажей.

• Интеграция с платформами ByteDance, что делает ее доступной для широкого круга пользователей.

• Отсутствие звука, но ожидаются обновления.

Пример:

6. Runway Gen-4

Runway Gen-4 — обновленная версия популярной модели для генерации видео, предлагающая удобный интерфейс и поддержку 4K. Однако визуальное качество пока отстает от лидеров рынка.

Ключевые особенности:

• Генерация видео с разрешением до 4K.

• Удобный интерфейс для пользователей.

• Подходит для простых видео без сложной постановки.

Главное заявленное отличие - высокая степень согласованности (очень хорошо понимает запросы). Модель позволяет точно воссоздавать персонажей, локации и объекты в различных сценах, сохраняя их стиль, настроение и кинематографические элементы.

• ➕Мы долго этого ждали: наконец-то добавлены форматы 16:9, 9:16, 1:1. 4:3, 3:4, 21:9

• ➕RunWay Gen-4 работает только с изображением — поддержка text2video и ключевых кадров пока не доступна.

Пример:

7. HeyGen 4 - Цифровой двойник, который говорит за тебя

HeyGen — передовой ИИ-видеогенератор, который оживляет изображения с помощью ИИ-аватаров и технологии синхронизации губ. Он позволяет создавать персонализированные видеообращения и маркетинговый контент.

С таким помощником ты забудешь, как это💗тратить часы на съемки. АИ💗аватар будет твоим голосом, лицом и стилем. Он умеет всё 💗от эмоционального контента до спокойных экспертных видео.

Ключевые особенности:

• AI-аватары с реалистичной синхронизацией губ.

• Поддерживает мимику и жесты

• Функциональность преобразования текста в видео.

• Озвучивание с помощью искусственного интеллекта на нескольких языках.

• Интеграция с платформами социальных сетей.

Пример:

О том, как сделать такое видео здесь: Как создать аватар в нейросети: Цифровой двойник, который говорит за тебя

8. Hedra - нейросеть для создания видео с мимикой и эмоциями по фотографии

Hedra - это модель, которая превращает любые фотографии в реалистичные анимированные аватары, говорящие вашим голосом с живой мимикой и эмоциями.

Что умеет нейросеть Hedra?

• ➕ Высокая реалистичность лицевой анимации

Синхронизация губ с речью на уровне (английский язык на высшем, русский на твердо-хорошем), естественные и активные движения головы и тела, прекрасная мимика.

• ➕ Точная передача эмоций:

Модель автоматически анализирует загруженное аудио и эффективно воспроизводит различные эмоциональные состояния (радость, грусть, нейтральность).

❗️ Что показывают тесты:

• ➖Качество на порядок лучше HeyGen Avatar 4 (тоже есть в нашем арсенале).

• ➖Умеет генерировать антропоморфных животных, мультяшных/рисованных героев, нестандартных персонажей. Главное, что бы были четко прорисованы губы.

• ➖Двигается голова, тело, руки - модель реально старается оживить изображение полностью.

• ➖Не дает генерировать известных личностей/медийных персон или аудио из фильмов/мультиков/других известных записей. То есть с фильтрами все строго.

• ➖Умеет петь, если загружен качественный аудио файл и слова в нем четкие.

• ➖Сложности при обработке изображений с очками, усами, бородой или другими выраженными аксессуарами.

• ➖ В паре с клонированием голоса (https://t.me/syntxfamily/1994) - отличный инструмент, даже для создания диалога или короткого мультика.

• ➖Для достижения наилучшего результата, качество исходного изображения должно быть высоким, с ровным освещением и фронтальным ракурсом. При низком качестве изображения модель работает хуже.

9. Pika 2.2

Pika 2.2 — обновленная версия платформы для генерации и редактирования видео, предлагающая новые функции, такие как подмена объектов и добавление сцен по фотографии. Идеальна для создания вирусного контента.

Ключевые особенности:

• Подмена объектов в видео.

• Добавление сцен по фотографии.

• Идеальна для вирусного контента, несмотря на некоторые ошибки.

Пример промпта:

"Аниме-персонаж бежит по цветущему полю с ветром, развевающим его волосы."

10. Runway Act-Two

Runway Act-Two — продвинутая модель захвата движений, позволяющая анимировать персонажей на основе реальных выступлений. Она обеспечивает высокую точность и реалистичность анимации, что делает ее ценным инструментом для создателей контента.

Ключевые особенности:

• Полный захват движений: отслеживание головы, выражений лица, верхней части тела и рук.

• Универсальная анимация персонажей: возможность анимировать различных персонажей в различных стилях и средах.

• Упрощенные требования к входным данным: требуется только видео выступления и референсный персонаж.

Пример использования:

Загрузите видео с вашим выступлением и изображение персонажа, которого хотите анимировать. Act-Two обработает данные и создаст анимацию с высокой точностью и реалистичностью.

О том, как сделать такое видео, здесь: Оживление в RunWay: Act-Two — перенести свои движения и мимику персонажу нейросети по видео-референсу

11. Runway Aleph

Runway Aleph — инновационная модель для редактирования видео с помощью ИИ, позволяющая вносить изменения в существующие видеоролики на основе текстовых запросов. Она открывает новые возможности для редактирования и трансформации видео.

Ключевые особенности:

• Добавление и удаление объектов: возможность изменять элементы сцены по текстовым инструкциям.

• Изменение ракурсов и освещения: корректировка перспективы и атмосферы сцены.

• Преобразование художественного стиля: применение различных стилей к видео, таких как мультфильм или масляная живопись.

Пример использования:

Загрузите видео и опишите, какие изменения хотите внести, например: "Добавить футуристический город на заднем плане и изменить время суток на закат". Aleph обработает запрос и внесет соответствующие изменения в видео.

12. Midjourney Video

Совсем недавно Midjourney анонсировали новую функцию — теперь можно не только генерировать изображения, но и создавать видео! (https://t.me/syntxfamily/2359)

Плюсы: ⬇️

• ➕Как и при генерации изображений, получаем сразу 4 варианта видео на выбор.

• ➕Для одного кадра можно получить 3-4 секунды качественного движения 💗даже с первой генерации

📎Важные лайфхаки:

• ➕Поскольку разрешение видео до 720p, изначальное изображение должно быть максимально качественным.

• ➕При масштабировании вашего итогового изображения обязательно выбирайте "масштаб тонкий" 💗это кардинально улучшает итоговое качество.

📎Пишем короткие, четкие запросы:

Описываем ОДНО действие

Примеры: ➡️ "girl walking" ➡️ "girl posing" ➡️ "girl putting hood on"

Заключение

Современные нейросети для создания видео предоставляют широкие возможности для творчества и профессиональной деятельности. Выбор подходящего инструмента зависит от ваших потребностей, желаемого качества и функциональности. Независимо от выбора, ИИ-генераторы видео открывают новые горизонты в мире мультимедиа.

Хочу поделиться красотой Камчатки и Тихого океана.

В этом видео - бескрайние просторы, вулканы, мощные волны и моменты, когда море и небо сливаются в одно. Это не просто кадры путешествия, а маленький кусочек той свободы и тишины, которые я почувствовал там.

Приятного просмотра!