Превратить видео на английском в статью на русском⁠⁠

Привет, Пикабу!

Я готов поделиться апдейтом по разработке своего бота для транскрибации видео:)

За два месяца с прошлого поста был починен ряд багов, например - модель распознавания речи неправильно определяла язык. Почему? Потому что она это делала по первым 30 секундам медиа-файла. И если там тишина - по умолчанию выбирался английский язык. А если это запись какого-нибудь часового урока на русском языке, но первые несколько минут - тишина пока трансляция не началась - пользователи мистическим образом получали правильную транскрибацию, но полностью на английском языке)) КаковО было мое удивление когда я понял что используемая модель может не только транскрибировать, но и тут же на лету переводить! И это даже не LLM ведь!

Еще - по запросам пары человек добавил возможность выбрать язык для краткого содержания (саммари) или статьи. Т.е. кидаете боту видео на английском языке, получаете транскрипцию, и видите не две, а 4 кнопки для саммари и статьи - на языке оригинала и на русском! Теперь полезным контентом из англоязычного интернета можно удобно поделиться с другом, которые не знает английского!

Результат для "Статьи" на разных языках:

Кстати, список поддерживаемых платформ расширился! Теперь это:

1. (самый известный запрещенный сайт с видео)

2. Рутуб

3. ВКвидео

4. Запрещенограм-рилсы

Ну и конечно осталась поддержка загрузки пользовательских файлов прямо в бота! В итоге кто-то кидает фильмы и просит транскрибацию или краткое содержание по ним. В прошлом посте я пошутил, но кто-то действительно загружает 20минутные голосовые и просит саммари по ним))

Самый частый кейс - деловой, поэтому я старательно работаю над тем чтобы бота можно было добавить в зум-звонок!

О, у нас уже больше 200 пользователей!

Присоединяйтесь:)