Допилил бота для транскрибации. Теперь с нормальной суммаризацией
Помните мой бот, который переводит созвоны в текст? С тех пор как последний раз писал, прошло 3 месяца. За это время добавил — AI-суммаризацию, но не через дорогущий GPT, а на маленьких моделях.
Сейчас крутится на openai/gpt-oss-20b. Это небольшая модель, которая жрет копейки по сравнению с большими LLM, но при этом делает резюме вполне адекватно. Железо пока держит, не жалуется.
Как работает: кидаешь 40-минутный созвон - получаешь текст + краткое резюме. Можешь выбрать формат: деловое (задачи, сроки, решения), ультра-краткое (2-3 предложения) или еще 4 варианта на выбор.
Работает с голосовыми Telegram, видео из VK, любыми аудио/видео файлами. Плюс облачные хранилища — кидаешь ссылку на Яндекс Диск, Google Drive, OneDrive или другие облака, и бот сам достанет оттуда файл.
Уже 1500 человек в месяц пользуются. И я в том числе). Бесплатно, потому что модельки маленькие :)
P.S. Если кто шарит в оптимизации инференса маленьких моделей — киньте советы. Всегда интересно выжать больше из железа.
P.P.S. Если есть идеи, что еще добавить, чтобы бот стал полезнее или что то не так работает — пишите в комментах тут или мне в личку. По выходным люблю допиливать фичи.