Посоветуйте локальный ИИ переводчик
Всем привет!
В связи с выходом BiliBili, китайского аналога YouTube, на российский рынок. У меня появилась задача, переводить видео в браузере локально.
К сожалению, встроенные онлайн инструменты Яндекс Браузера, Chrome, Edge не могут ни в озвучку, ни в субтитры в этом сервисе.
На данный момент я попробовал несколько вариантов, пока что лучший из них, это использовать Qwen 2.5 7B в связке с этим репозиторием: https://github.com/begin0808/LiveCaption_Global и расширением браузера к которому подключена локальная ИИ модель.
Судя по тому, что вижу в терминале, скорость перевода относительно быстрая. Но, возможно, из-за прослойки в виде репозитория с гитхаба недостаточно быстрая. Кроме того этот софт немного криво работает, да и сама модель не может переводить нормально.
Основные проблемы моего способа:
Окно с субтитрами от расширения пропадает. Хотя в терминале весь текст отображается.
Очень часто переводит половину текста, либо не переводить вообще.
Высокая задержка для перевода налету.
Пример того, как переводит видео в терминале.
Железо у меня такое:
CPU: i5-12450H: 8 cores (4P+4E) / 12 threads, up to 4.4 GHz, 12 MB cache, TDP 45–95W, Intel® UHD Graphics (48 EUs).
GPU: GeForce RTX 4060 Laptop GPU: 8 GB GDDR6 (128-bit) VRAM, architecture Ada Lovelace, 3072 CUDA cores, frequency up to 2370 MHz, TGP 35–115W (+15W Dynamic Boost), DLSS 3.0
RAM: Kingston SO-DIMM DDR5 32Gb(2x16Gb) 5600Mhz CL40 1.1V (KF556S40IBK2-32)
SSD: HP FX900 Plus 2000GB M.2 2280: NVMe PCIe 4.0 x4 interface, 3D NAND TLC flash memory, sequential speeds up to 7100 MB/s read and 6300 MB/s write
ПЛАТНЫЕ ВАРИАНТЫ НЕ ПРЕДЛАГАТЬ. НА ВОПРОС ЗАЧЕМ МНЕ ЭТО ОТВЕЧАЮ СРАЗУ - ЗАТЕМ!