Честно говоря, хотела ограничиться небольшим постом, но информация интересная, так что пока готовила пост, увлеклась и получился такой лонгрид.

С момента своего публичного запуска ElevenLabs лидирует в отрасли синтеза естественной речи, позволяя пользователям создавать и проектировать голоса искусственного интеллекта для огромного количества языков и акцентов, способные передавать широкий спектр эмоций и интонаций.

За это время ElevenLabs создали аудио за более чем 100 лет. Сегодня их технологию используют сотрудники 41% компаний из списка Fortune 500. Дальше они будут только развиваться еще больше:

Компания уже привлекла $80M инвестиций

Что нового?

Нейродубляж

ИИ-стартап ElevenLabs, который недавно оценили в $1,1 млрд (подробнее в Bloomberg), запустил студию нейродубляжа.

Теперь можно перевести любое видео на один из 29 языков (в том числе русский) с учетом тона голоса говорящего, его акцента или фонового шума, сохраняя при этом голос и эмоции оригинального говорящего. Вот например этот ролик о себе самом перевел ElevenLabs с английского на русский с сохранением голоса.

В предыдущей версии, ролик, который вы видите наверху, перевелся бы с кучей искажений, голосовых артефактов, и искаженным переводом. Язык вывода я указала Английский, хотя в видео присутствует несколько языков. Не смотря на это, сервис без проблем перевел мне видос на русский, не теряя смысл.

Каждый месяц в ElevenLabs бесплатно дается 10 000 знаков, которые можно использовать по своему усмотрению - перевести видео с сохранением голоса в разделе Dubbing, или сделать реалистичную озвучку текста, или и то, и то.

Новые продукты

Сегодня компания также представляет ряд новых продуктов, включая Dubbing Studio , торговую площадку Voice Library , раннюю предварительную версию приложения Mobile Reader , а также новые модели с улучшенной скоростью и языковым охватом. А еще они пошли по пути OpenAI и дадут возможность пользователям заработать, загружая созданные или клонированные голоса.

Подробнее о каждом продукте

ElevenLabs также представляет несколько новых разработок продуктов, которые будут запущены в эксплуатацию в ближайшие недели:

Dubbing Studio

Теперь мощности нейросети позволят пользователям дублировать фильмы целиком, а также создавать и редактировать их расшифровки, переводы и тайм-коды, обеспечивая дополнительный контроль над созданием контента. Эти возможности дополняют уже существующую функцию искусственного дубляжа, которая обеспечивает автоматическую комплексную локализацию видео на 29 языках.

Voice Library (голосовая библиотека)

ElevenLabs предоставит пользователям безопасную платформу для заработка на версиях собственных голосов, созданных искусственным интеллектом. Пользователи могут создать свою профессиональную реплику голоса AI, проверить ее и поделиться ею через голосовую библиотеку. Когда другие используют эти проверенные голоса, оригинальные создатели получают компенсацию. Пользователи всегда сохраняют контроль над доступностью своего голоса и условиями компенсации. Маркетплейс уже приносит доход небольшой группе альфа-пользователей. Кстати, у них сервиса есть классификатор речи с использованием искусственного интеллекта, который может проверить, содержит ли аудиосэмпл контент, созданный ElevenLabs. Кстати, это они тоже улучшат - включат и другие голосовые модели в свой классификатор.

Приложение Mobile Reader

Ранняя предварительная версия мобильного приложения для чтения, которая позволяет мгновенно преобразовывать текст и URL-адреса в аудио, упрощая пользователям доступ к контенту на другом носителе во время движения. В качестве ознакомительной пробной версии приложение будет доступно бесплатно в течение первых трех месяцев, и пользователи смогут зарегистрироваться для получения раннего доступа через список ожидания.

ElevenLabs реально молодцы, пока это мой топ из синтеза речи - самая натуральная озвучка получается, с паузами, придыханиями, эмоциями. Если бы они еще в клонирование голоса (который Professional Voice Cloning) добавили бы русский голос - им бы вообще цены не было. Пока эта опция доступна только на английском, я записала 40 минут своего голоса на английском и через 3 недели должны сделать мой голосовой клон, поделюсь впечатлениями. Но лучшие они в переводе видео с сохранением голоса, даже Heygen пользуются их технологией, если кто не знал. То, что они принимают дополнительные меры для повышения безопасности голосовых данных дает им еще плюсик в карму.

Хотите быть в курсе полезных ии сервисов для работы, учебы и облегчения жизни? Подпишитесь на мой канал в Telegram НейроProfit, там я рассказываю о том, как зарабатывать с помощью нейросетей и использовать ии-сервисы для бизнеса 😉