Даббинг c ИИ это просто?
Решили проверить популярные ИИ инструменты для даббинга (перевода и дубляжа) видео.
Выбрали 3 сервиса: Elevenlabs.io, Rask.ai и Maestra.ai. Почему их? Потому что уже есть опыт работы с ними и анализ более 10 схожих сервисов, на наш взгляд эти одни их лучших.
Тестируем только в бесплатном режиме - все 3 сервиса позволяют это сделать с рядом ограничений:
- нет возможности редактировать текст речи
- 10 000 символов или около 3-х минут видео
- нет возможности выгрузить видео с субтитрами, отдельно аудио или субтитры
- 3 видео по 1 минуте
- нет возможности выбрать функцию клонирования голоса, необходимо выбирать из существующих голосов
- нет функции автодетекта количества голосов на видео (считаем и выбираем руками)
- 6 000 символов или около 10 минут видео
Итак, на входе у нас одинаковое видео для всех троих участников: 30-секундный трейлер английской постановки пьесы “Гарри Поттер и Проклятое дитя”.
Условия теста: никаких ручных правок, все по умолчанию.
Результат удивил! Явный лидер в СМИ, Elevenlabs, уступил первенство Rask по качеству дубляжа. При этом, лидер Rask - явно позиционирует себя в другой ценовой категории, при этом, ТУТ ВНИМАНИЕ: Rask и Maestra используют API Elevenlabs для функции клонирования голоса 😂
Сравнение ИИ инструментов для видео даббинга
Основной вывод: все сервисы требует ручного вмешательства для обработки финального результата!
Большим преимуществом в этом случае выглядит наличие возможности редактирования текста, в том числе под скорость речи, а также, применение ИИ для адаптации перевода, именно в этом качестве себя хорошо показывает Maestra, но мы ведь проводим тест без “ручных” правок.
Результаты нашего батла вы можете увидеть и оценить сами. Пишите в комментариях, кто вам понравился больше!
Версия Rask
Версия Elevenlabs
Версия Maestra
Читайте нас в Telegram
Не является рекламой. Все данные взяты в открытом доступе. Все выводы и соображения, содержащиеся в посте, являются мнением авторов блога.
Искусственный интеллект
5.4K пост11.7K подписчиков
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан