Локальная модель Moondream
Moondream WebGPU — небольшая VLM, поддерживающая обработку изображений, работает локально в браузере
Moondream WebGPU — это VLM (Vision-Language Model) с 1.86 миллиардами параметров.
После загрузки модель (1.8 ГБ) будет кэширована и повторно использована при повторном посещении страницы.
Все выполняется непосредственно в браузере с помощью Transformers.js и ONNX Runtime Web, то есть ваши разговоры не отправляются на сервер.
Hugging Face
Источник