Локальная модель Moondream⁠⁠

Moondream WebGPU — небольшая VLM, поддерживающая обработку изображений, работает локально в браузере

Moondream WebGPU — это VLM (Vision-Language Model) с 1.86 миллиардами параметров.
После загрузки модель (1.8 ГБ) будет кэширована и повторно использована при повторном посещении страницы.

Все выполняется непосредственно в браузере с помощью Transformers.js и ONNX Runtime Web, то есть ваши разговоры не отправляются на сервер.

Hugging Face

Источник