Превратить видео на английском в статью на русском
Привет, Пикабу!
Я готов поделиться апдейтом по разработке своего бота для транскрибации видео:)
За два месяца с прошлого поста был починен ряд багов, например - модель распознавания речи неправильно определяла язык. Почему? Потому что она это делала по первым 30 секундам медиа-файла. И если там тишина - по умолчанию выбирался английский язык. А если это запись какого-нибудь часового урока на русском языке, но первые несколько минут - тишина пока трансляция не началась - пользователи мистическим образом получали правильную транскрибацию, но полностью на английском языке)) КаковО было мое удивление когда я понял что используемая модель может не только транскрибировать, но и тут же на лету переводить! И это даже не LLM ведь!
Еще - по запросам пары человек добавил возможность выбрать язык для краткого содержания (саммари) или статьи. Т.е. кидаете боту видео на английском языке, получаете транскрипцию, и видите не две, а 4 кнопки для саммари и статьи - на языке оригинала и на русском! Теперь полезным контентом из англоязычного интернета можно удобно поделиться с другом, которые не знает английского!
Кнопки выбора появляются после того как распознавание завершено (примерно три минуты)
Результат для "Статьи" на разных языках:
Кстати, список поддерживаемых платформ расширился! Теперь это:
1. (самый известный запрещенный сайт с видео)
2. Рутуб
3. ВКвидео
4. Запрещенограм-рилсы
Ну и конечно осталась поддержка загрузки пользовательских файлов прямо в бота! В итоге кто-то кидает фильмы и просит транскрибацию или краткое содержание по ним. В прошлом посте я пошутил, но кто-то действительно загружает 20минутные голосовые и просит саммари по ним))
Самый частый кейс - деловой, поэтому я старательно работаю над тем чтобы бота можно было добавить в зум-звонок!
О, у нас уже больше 200 пользователей!
