Babelfish.ai — это онлайн-сервис, который позволяет в реальном времени переводить речь в текст и переводить этот текст на более чем 200 языков.

Инструмент работает прямо в браузере и использует технологию Whisper от OpenAI для распознавания речи. Благодаря интеграции с Supabase Realtime, сервис обеспечивает мгновенную трансляцию результатов на несколько подключенных устройств, что круто для совместной работы.

Например, вы ведёте международную встречу: Babelfish.ai будет транскрибировать сказанное и мгновенно переводить это на нужные языки, всё это происходит прямо в браузере без необходимости в мощных серверах или сложных настройках.

Также сервис поддерживает работу локально, это обеспечивает высокую скорость обработки и конфиденциальность данных. Установить можно с GitHub

Инструмент хорошо подходит для бизнес-команд, студентов, журналистов и всех, кому нужно быстро и точно преобразовать речь в текст и перевести его на различные языки

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Давненько у ElevenLabs не было достойных конкурентов - чтобы и голос клонировал, и мультиязычный перевод был, и библиотека голосов с редактором. Представляю Wondercraft - инструмент для подкастеров, для звукорежиссеров и рекламщиков.

Что может Wondercraft

Аудиокниги, подкасты

ИИ запишет подкаст по вашим запросам, можно выбрать из 200 реалистичных голосов, автоматически сделать дубляж на другой язык и сгенерировать сценарий.

Аудиореклама

Есть ИИ-генератор рекламы, где можно вставить ссылку на товар, который необходимо прорекламировать и получить аудиорекламу, длительностью 30 или 60 секунд. Ее можно отредактировать по своему вкусу, изменить голос, язык и содержание. Есть бесплатные аудиосемплы и музыка.

Клонирование голоса

Клонирование голоса доступно только платных подписках, и нужно сначала подписаться на ElevenLabs за 11$, так как Wondercraft используют их технологии. А Wondercraft ,в свою очередь, покроет стоимость. Здесь подробнее можно почитать

Остальные функции

Так же заявлено, что можно сделать успокаивающие и выразительные медитации и продающие аудио e-mail’s

Что понравилось в Wondercraft

• Понравилось, что на сайте есть статьи, как расставить паузы и настроить произношение, руководства по использованию

• Нейронка знает много акцентов, 30 языков и в их числе русский.

• Бесплатно — 10 минут на генерацию аудио и 40 голосов.

• Хорошая озвучка

Что не понравилось в Wondercraft

• Платный план начинается от 35$/мес, когда у ElevenLabs от 5$/мес.

• Хоть Wondercraft, в отличие от ElevenLabs, генерирует по текстовому запросу аудиорекламу с уже готовыми звуковыми эффектами и музыкой, все равно я не нашла русский язык. Кстати, как и многих других, которые представлены на сайте в списке доступных языков.

По этой причине не рекомендую Wondercraft, сама использую ElevenLabs, у него есть русский язык, бесплатно дается 10 000 знаков каждый месяц, которые можно потратить по своему усмотрению - на перевод и дубляж, генерация аудио из текста, создание звуковых эффектов, шумоподавление в озвучке, хоть на все сразу. Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

В Synthesia улучшили эмоции AI аватарам

Первые в мире аватары, которые могут демонстрировать сложные эмоции. Они хмурятся, улыбаются и автоматически меняют тон голоса в зависимости от контекста вашего сценария. Еще аватары умеют жестикулировать руками.

Так же теперь есть Диалог - это когда несколько аваторов в видео ведут диалог. Можно включить в сцену несколько аватаров и воссоздать реалистичные, увлекательные сценарии на любую тему.

Что еще планируется:

Скоро можно будет сделать своего цифрового аватара без посещения студии с помощью веб-камеры или смартфона, сохраняя естественный фон. Соедините его с клоном вашего голоса на 30+ языках и создайте персонализированные видео за считанные минуты.

Переведено в Elevenlabs

Еще анонсируют новое поколение ИИ аваторов, которых не отличить от настоящих актеров. Обещают абсолютно новый опыт

Ну что ж, наконец-то не только в видеогенераторах движуха началась. С такими обновлениями Synthesia резко стала конкурентом HeyGen, оставих остальных позади, как когда-то Pika Labs и Runway GEN 2 стали безапеляционными лидерами в видеогенерации и главными конкурентами. Если раньше выбор был однозначно в сторону HeyGen, то сейчас лично я начала уже сомневаться. Посмотрим, чем ответят HeyGen... Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Сейчас популярны короткие видео, на которых можно услышать, как бы разговаривали знаменитости на русском своими голосами.

Такие рилсы хорошо заходят, их просто сделать, даже автоматически, если захотите, не нужен даже CapCut.  

Как сделать автоматически такие видео?

1. Просто скачиваете с TikTok или с другой платформы видео нарезки из интервью на иностранном языке, их много.  

2. Затем эти видео вставляете в нейросеть для перевода с сохранением голоса. Их две классных.

   Heygen

В Heygen - результат будет как на примерах, подстроит липсинк, он использует технологию Elevenlabs для клонирования голоса и Voice Engine от OpenAI, к которой пока доступ ограничен.

Минусы Heygen

- платный, доступен 1 кредит=1 минута в месяц, продолжительность видео округляется до 30 секунд,

- открывается с vpn, по крайней мере у меня

Elevenlabs

в Elevenlabs - в бесплатном тарифе вам каждый месяц дается 10,000 кредитов, это 10 минут аудио, в том числе их все можно потратить на dubbing - как раз дубляж с переводом, при котором сохраняется голос.

Минусы Elevenlabs

- в бесплатной версии дубляж автоматический, для того, чтобы откорректировать реплики и получить нужный результат, потребуется доступ в студию - а это платный тариф. Хотя стоит он от 5 долларов, что очень демократично для подобных сервисов. За 5 долларов получаете 30 минут аудио в месяц.

- губы синхронно не подстроит

Хорошая идея для траферов привлечь аудиторию на продукт или услугу, а так же набрать подписчиков. Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Нейросеть бесплатно переведёт вам любое видео — вышел новый сервис Merlin Clone.

Качество не оставляет шанса конкурентам — просто посмотрите на дубляж комедии с Шуриком. На выбор десяток языков, среди которых есть и русский!

✅ Можно попробовать бесплатно здесь.

🔥 Источник: t.me/nfaqs/4542

Whisper WebGPU - мгновенно распознаёт речь со 100 языков! Можно загрузить файл - как аудио, так и видео, либо вставить ссылку, либо надиктовать в режиме реального времени. 

Что может

• Преобразует аудио в текст

• Мгновенно переводит распознанный текст на разные языки, может быть полезно для международных видеозвонков. 

  Или, как вариант, включить запись на совещании на иностранном языке и получить мгновенный перевод. Плюсом текст совещания останется с вами

• Так же хорошо подходит для создания субтитров - за секунды транскрибирует речь из видео и аудио.

• Голосовое управление - использование голосовых команд для управления веб-интерфейсами.

Сервис бесплатный. Модель работает локально, данные останутся на вашем устройстве, скачать можно в Discord , протестировать можно на сайте HuggingFace

Источник НейроProfit - авторский канал про полезные нейросети