Lumiere создаёт ролики по текстовому запросу, «оживляет» изображения или использует их как референс визуального стиля. При этом итоговое качество поражает.

Lumiere - это модель диффузии текста в видео, которая отлично справляется с синтезом видео с реалистичным, разнообразным и согласованным движением. Эта модель представляет собой значительное достижение в области синтеза видео благодаря использованию архитектуры Space-Time U-Net.

В отличие от традиционных моделей, которые генерируют удаленные ключевые кадры с последующим временным сверхразрешением, Lumiere генерирует всю временную длительность видео за один проход. Такой подход обеспечивает глобальную временную согласованность и позволяет решать различные задачи по созданию контента и редактированию видео.

Ключевые особенности:

Преобразование изображений в видео: Преобразование неподвижных изображений в видео на основе заданных подсказок.

Стилизованная генерация: Использование одного опорного изображения для создания видео в заданном стиле.

Стилизация видео: Применение текстовых методов редактирования изображений для последовательного редактирования видео.

Синемаграфы: Анимация содержимого в заданной пользователем области изображения.

Инкрустация видео: Редактирует видео, маскируя и заменяя части видеокадра.

Разработанный командой исследователей и стажеров Google Research, Lumiere демонстрирует самые современные возможности создания видео на основе текста.

Релиз в этом году. Учитывая объёмы информации, доступные Google для обучения ИИ, должно получиться нечто.

Хотите быть в курсе полезных ии сервисов для работы, учебы и облегчения жизни? Подпишитесь на мой канал в Telegram НейроProfit, там я рассказываю о том, как зарабатывать с помощью нейросетей и использовать ии - сервисы для бизнеса 😉

Видео переведено с помощью нейросети Elevenlabs, которая сохраняет голоса актеров.

Разработчики Alibaba выпустили нейросеть DreamTalk, которая позволяет создавать говорящие головы с помощью искусственного интеллекта. Иными словами, нейросеть анимирует любые лица в пару кликов.  

Аватары поют песни и произносят речи на разных языках. Есть реалистичная мимика и точная синхронизация губ.

Сфера применения

DreamTalk может использоваться для создания самых разных говорящих голов, от простых анимированных изображений до реалистичных видеороликов. Например, можно использовать DreamTalk для создания:

• Обучающих видеороликов с говорящими головами учителей или экспертов.

• Интерактивных игр с говорящими головами персонажей.

• Рекламных роликов с говорящими головами знаменитостей или известных людей.

• Даже художественных фильмов с говорящими головами вымышленных персонажей.

DreamTalk - это еще новая технология, но она имеет огромный потенциал для создания новых и интересных форм медиа. В будущем она может изменить то, как мы потребляем информацию и развлечения.

Примеры использования

Вот несколько конкретных примеров того, как DreamTalk уже используется:

• Компания Alibaba использует DreamTalk для создания обучающих видеороликов для своих сотрудников.

• Компания Tencent использует DreamTalk для создания интерактивных игр с говорящими головами персонажей мультфильмов.

• Компания Google использует DreamTalk для создания рекламных роликов с говорящими головами знаменитостей.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса

Теперь помимо генерации изображений, Leonardo.AI из этих изображений сделает видео в HD качестве всего в пару кликов! Все благодаря новой функции motion.

Инструмент доступен как пользователям с платной подпиской, так и без неё.

Как использовать функцию motion в Leonardo.AI

1. Сгенерируйте изображение в Leonardo.AI. Для более реалистичных портретов рекомендую функцию Photo Real, но такая генерация будет стоить 20 токенов. Подробнее - Как создать реалистичные портреты в Leonardo

2. Когда вам выдадут 4 варианта, наведите курсор на понравившийся

3. Выберите Generate Motion Video

4. В появившемся меню нажмите Продолжить

Оживление картинки будет стоить 25 токенов. Напомню, генерация реалистичных картинок стоит 20 токенов. Бесплатно дается 150 токенов, которые обновляются каждые 9 часов.

Редактор тоже обновили, добавили несколько ползунков и функций для работы с изображениями.

Не секрет, что самые лучшие нейросетевые видео создаются с референсов, то есть с готовых изображений. И чем они выше по качеству, тем лучше видео получаются.

А если вы хотите по-настоящему реалистичные изображения, то Midjourney то, что вам нужно - самая понятная и настраиваемая нейросеть, которая создает шедевры. Тем более с новой версией Midjourney V6 можно писать текст на изображениях и успешно использовать в маркетинге - Возможности Midjourney V6 в рекламе

Как пользоваться новой версией Midjourney V6, делать реалистичные фото маркетинговые изображения с текстом и не только, я уже рассказала своим ученикам на своем ускоренном обучении работе с Midjourney, который поможет быстро и эффективно освоить все основные аспекты работы с инструментом. А главное, помимо того, что все материалы останутся с вами навсегда, вам всегда будут доступны обновления по обучению БЕСПЛАТНО + отдельный чат, разделенный по темам с единомышленниками

Хотите узнать больше? Оставьте заявку на сайте и начните обучаться по адекватной цене.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса