Жду новый пост

Серия «Видео»

Помните я писала про, что HeyGen обновился до версии 5.0, а заодно и рассказала про его возможности?

Теперь в HeyGen можно еще и генерировать видео со своим аватаром в движении благодаря новой функции функция Avatar in Motion.

Например, ваш цифровой клон теперь может не просто стоять и максимум жестикулировать, а полноценно пройтись по парку или оживленной улице, как нормальный ведущий. Синхронизация губ тоже будет на уровне. Это уже совсем другой уровень продакшна.

Самая поразительная часть этого демо: в оригинале аватар говорит по-немецки! Таким образом, английский и испанский языки, которые вы слышите в этом видео, являются переводом его немецкого языка (с оригинальным голосом и интонациями), сгенерированным искусственным интеллектом. Подробнее в бывшем Твиттере - кстати там же люди в комментах накидывали фразы, которые должен произнести цифровой Ник, и команда HeyGen постила видео с ними

Двигайте руками, делайте жесты, используйте уникальные тона голоса, и HeyGen безупречно отследит, переведет и синхронизирует ваше видео с любым вводимым текстом.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Помните классные времена, когда Pika Labs был бесплатным? Есть вариант повторить, только теперь уже с новой нейросетью для генерации видео 😉

Haiper — нейросеть генерирует видеоролики по текстовому описанию, анимирует фото и изображения, меняет стиль, цвет видео и многое другое.

Плюсы и минусы

Плюсы: Работает бесплатно и из России. Я загрузила изображения, которые я сгенерировала в Midjourney. Написала коротенькие текстовые подсказки, и получила прям недурственное качество, местами не хуже платного GEN-2. 

Минусы: Видеоролики получаются очень короткими - 2 секунды, позже увеличат до 4 секунд.

Помимо того, что это классная нейросеть для создания видео бесплатно, это еще и хороший сервис для обработки видео. Он умеет создавать ролики с текстом, перекрашивать, изменять текстуры и элементы, чтобы преобразить визуальный контент.

Очень важно для генерации реалистичных видео иметь качественные референсы, то есть изображения, которые уже потом оживляют с помощью нейросетей для видео. Хотите научиться создавать такие же качественные картинки как из кино и испытать возможности Midjourney V6? Вступайте в Закрытый клуб Midjourney

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Viggle - нейросеть для генерации видео, где вы можете заставить любого персонажа двигаться так, как вы хотите. Там уже есть готовые шаблоны движений, которые можно объединить со своим изображением. Движения заявлены более плавные и четкие без артефактов.

Так же, можно  анимировать любую картинку, а затем заменить персонажей в видео с помощью промптов. То есть буквально, можно взять чье-то видео, сцену из фильма, клип -на что фантазии хватит, и заменить на себя или любого другого персонажа.

Так же, можно анимировать изображение просто прописав текстовую подсказку или загрузив эталонное видео в качестве подсказки, создать видео с нуля по промпту или переделать его в другом стиле.

Как сгенерировать видео в Viggle

• Начало работы: на сайте нажимаем Join the Beta, вас перенесет в Discord, и вы попадаете на сервер Viggle. Слева во вкладке creator выбираете ветку, где последняя запись была давно - так ваши работы не затеряются в общем потоке.

• Создать персонажа: набираем команду /character и выбираем шаблон движений;

• Анимировать уже готовое изображение: просто набираете команду /animate, загружаем изображение и так же выбираете шаблон движений;

• Использовать картинку с видео в качестве референса: вводим команду /mix, загружаем изображение и видео.

Бесплатно можно протестировать в Discord, очень рекомендую это сделать, пока он как Pika Labs не стал платным. А Pika Labs сейчас прямой конкурент Runway GEN-2, это две лучшие нейросети для генерации видео на сегодняшний день, если не считать Sora от Open Ai, которой пока только дразнят. Как знать, может Viggle подвинет их, все задатки есть, посмотрим-поглядим.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Ну что ж, мы скоро станем еще на шаг ближе к созданию фильмов без актеров 📽

Alibaba показали сервис Emote Portrait Alive для анимации говорящих портретов. Технология так же основана на модели диффузии Audio2Video, но, в отличие от других нейросетей в том, что она не просто оживляет изображения, а наделяет их эмоциями, делает переходы между кадрами более плавными, а сам “анимируемый” остается похожим на себя.

То есть тут не будет как в D-ID компьютерного рта, который убивает “личность” персонажа. А сам ролик выглядит гораздо реалистичнее

Достаточно загрузить одно фото и к нему аудиофайл, и нейросеть реалистично подстроит движение губ и эмоции персонажа. Посмотрим, что будет в итоге, надеюсь, это будет лучше липсинка у Pika Labs, который не очень-то и синхронизирует движение губ при использовании русского языка.

В любом случае, код выложат позже на github  , так же пробная версия будет на huggingface, а значитможно будет бесплатно поюзать эту нейросеть, что уже плюс, так как и D-ID и Pika Labs платные. А в D-ID я вообще еле отменила подписку, каждый день пытались списать деньги, хоть карту меняй) Так что ждем бесплатный инструмент.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Натуральной озвучкой вашего текста  виртуальным аватаром с синхронным движением губ уже никого не удивить. 

Сначала Synthesia была родоначальником этой функции в 2017 году, но уже к  2023 году стала отстающей от коллег. 

В 2020 появился Heygen и заявил, что его технология лучше. Пока самый популярный и рекламируемый сервис. С ним могу сравнить продукт от Сбера - Visper, он  доступней по цене.

Так вот, Neiro AI наглядно демонстрирует почему он лучше Heygen и Synthesia:

Разработчики добавили свой аватар поверх маркетингового ролика, сравнивающего Heygen с Synthesia.

Можно сгенерировать видео с аватаром до 10 минут. На выбор доступны 30 цифровых аватаров, 9 эмоций и 120 голосов, видео генерируют быстро, в том числе и на русском языке. 

Сначала предоставляется бесплатно 1 монета, то есть 1 минута видео. Отдельно, если не хватит, можно приобрести монету за 2$.

Можно выбрать задний фон, аватар, причем довольно реалистичного исполнения. Отдельно выбрать под него голос, возраст голоса, настроить эмоцию и ее интенсивность. Аватар разделены на те, которые подходят для презентаций и те, которые подходят для социальных сетей. 

Голоса и интонации вполне хорошие, докручивать не обязательно. Скачивается без водяного знака даже на бесплатном тесте. Получить еще один кредит на бесплатное видео можно заполнив анкету, и тут же 1 кредит будет начислен. Платный тариф начинается с 27$

В отличие от конкурентов, Neiro AI использует собственные технологии. После заполнения анкеты и беседы с менеджером, специальный персонаж под запрос клиента будет готов через 1-2 рабочих дня, пока это самый быстрый результат.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

InPhrase - сервис с искусственным интеллектом, способный найти любую информацию в огромных объемах аудио и видео данных. Вам не придется просматривать каждый файл самостоятельно. Нейросеть использует алгоритмы машинного обучения для анализа контента и выявления ключевых моментов, поэтому может без труда найти информацию среди миллионов аудио и видео.

Как работает:

Пользователь вводит ключевую фразу и нейросеть выдаст все видео, в которых эта фраза встречается.

Что особенно удобно:

Все видео, если нажать на каждое, начинаются именно с искомой фразы, то есть сразу становится понятно, подходит оно или нет.

Можно провести анализ тренда ключевого слова, ввести его в InPhrase и увидеть наибольшее количество видеороликов за день с заданным ключевым словом

Сервис работает бесплатно, поддерживает 16 языков, включая русский.

Кому будет полезен:

Журналисты, блогеры etc.: можно быстро найти цитаты и фрагменты из интервью для своих материалов. Отдельно порадовало, что поиск действительно хорошо работает и отсеивает нерелевантные видео. Например, при запросе "Сэм Альтман" сервис выдал мне видео, которые, казалось бы, никак не указывают на присутствие Сэма Альтмана в них. Включив ролики, видео сразу начинались с временного отрезка, где говорилось о Сэме Альтмане. Это очень удобно.

Маркетологи и Аналитики: можно быстро проанализировать рынок и конкурентов, отслеживая упоминания бренда или продукта в медиа.

Образование: Используйте для поиска образовательного контента, лекций и научных материалов.

Хороший сервис, подойдет как журналистам, блогерам, маркетологам и всем кто связан с контентом. Так и для образовательных и исследовательских целей.

Например, студентам может быть очень полезен для написания курсовой, в случае, когда тезис звучит знакомо, а где был услышан, непонятно.

Или в случае исследовательской работы, когда нужны материалы для каких-то узкоспециализированных тем

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Друзья, произошло важное событие в генерации видео нейросетями. OpenAI запустили SORA - text2video модель для генерации видео из промптов. Результаты не сразу можно отличить от реальной съемки. Я, честно говоря, до сих пор под впечатлением 🤯 Заверяют, что генерация видео по запросу длится до 1 минуты

Сегодня доступ к SORA получил ограниченный круг пользователей: эксперты по кибербезопасности, художники, дизайнеры, режиссеры.

После того, как они дадут свою оценку потенциальным рискам, а так же рекомендации по улучшению модели, SORA будет доступна всем пользователям. Это совершенно новый уровень создания видео!

Лучше сами посмотрите, Сэм Альтман в Твиттере показал возможности нейросети Sora, причем видео создаются по коротким промптам:

Промпт: Два золотистых ретривера ведут подкаст на вершине горы.

Промпт: Обучающая кулинарная сессия по приготовлению домашних ньокки, проведенная бабушкой, влияющей на социальные сети, на деревенской тосканской кухне с кинематографическим освещением.

Как можно заметить, тут и руки отлично получились.

Промпт: Велосипедная гонка по океану с различными животными в качестве спортсменов, едущих на велосипедах, с камеры беспилотника.

Вообще, рекомендую зайти на сайт SORA и посмотреть еще примеры генерации видео, бьюсь об заклад, вы удивитесь!

Помимо того, что нейросеть создает пока самые реалистичные видео, фокус-группа отметила в SORA еще любопытные функции.

Что еще может Sora?

Анимация изображения:

Нейросеть Sora еще может Img2vid - сделать анимированное видео из картинки:

Вот еще пример:

Смешивание двух видео

Так же, нейросеть может комбинировать два видео. Получилось очень интересно, и это только начало:

Чтобы вы поняли масштаб, вот видео - примеры того, как генерировались видео по текстовым промптам еще год назад:

Или вот знаменитый пример с Уиллом Смитом, наделавшим немало шума:

Я думаю, сейчас не хило напряглись Pika Labs, который с недавних пор стад платным, и Runway, который до сегодняшнего дня был лучшим генератором видео. Скоро можно будет написать полноценный сценарий для фильма, а а снимать ничего не нужно будет 🙈 А что вы думаете? Ждете релиз?

Хотите быть в курсе полезных ии сервисов для работы, учебы и облегчения жизни? Подпишитесь на мой канал в Telegram НейроProfit, там я рассказываю о том, как зарабатывать с помощью нейросетей и использовать ии-сервисы для бизнеса 😉