Нейросеть Яндекса переводит и озвучивает видео с английского (и не только) на русский
В прошлом посте я запустил опрос о том, какой же движок взять для 2D проекта и по результатам победил Godot. Одной из ключевых проблем при изучении движка является сравнительно малое количество обучающей информации на русском языке.
Может это бич нашего поколения и мы правда разучились внятно воспринимать текстовую информацию, а может авторы туториалов не могут доходчиво объяснить некоторые детали. Факт в том, что по видео обучаться (лично мне уж точно) в разы проще. Однако видео на русском языке по Godot не шибко много...
Они есть и при желании там можно наткнуться на что-то интересное, но большая часть из того что попадается - краткий гайд по настройке базового платформера. Зато зарубежный ютуб радует куда более подробным и сложным контентом.
Именно тут на помощь приходит новая нейросеть от Яндекса, которая переводит и озвучивает видео в режиме онлайн.
Как это работает?
Для начала вам нужен Яндекс Браузер, через него включаем желаемое видео и нажимаем на появившуюся кнопку перевода.
- Сначала система распознает речь и проводит транскрибацию (перевод из видео/аудио в текст);
- Далее весь этот текстовый жмых скармливается другой нейронке - она делает его более читаемым и понятным;
- Следующая нейронка создает по данному тексту озвучку, сверяя паузы и скорость с оригиналом на видео;
Перевод происходит меньше чем за минуту, хотя тут все зависит от длинны видеоролика.
Первые впечатления
Я не шибко фанатею от зарубежного контента, да и смотреть какое либо развлекательное видео в озвучке робота - такое себе удовольствие. Но когда дело касается не развлечений, а поиска полезной информации - потенциал становится виден невооруженным глазом.
Конечно, нейросеть иногда допускает погрешности в переводе, но они не так критичны и ты интуитивно понимаешь, что она хотела сказать на самом деле. Команда Яндекса не зря приложила столько сил для разработки этой нейронки.
На данный момент доступен перевод с шести языков: английского, испанского, французского, итальянского, немецкого и китайского. Всем советую попробовать данную нейронку и расширить границы доступного контента!
P.S.
Через расширение можно использовать не только в ЯБ, но и на других браузерах: https://github.com/ilyhalight/voice-over-translation
Искусственный интеллект
2.5K поста9.9K подписчика
Правила сообщества
Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан