Вышла новая модель Giga-Embeddings⁠⁠

Запущено новое семейство моделей Giga-Embeddings (https://huggingface.co/ai-sage/Giga-Embeddings-instruct-480M...) (https://huggingface.co/ai-sage/Giga-Embeddings-instruct-3B-0...) (https://huggingface.co/ai-sage/Giga-Embeddings-instruct-10B-...) для создания эффективных текстовых эмбеддингов за счёт sparse Mixture-of-Experts (MoE) архитектуры и дистилляции.

10B-A1.8B (MoE) обладает разреженным энкодером, активирующим лишь примерно 1.8B из 10B параметров. Плотная 3B представляет собой модель-середняк. Для ограниченных ресурсов есть компактная дистиллированная модель 480M.

Архитектуру декодерных LLM (Qwen3, DeepSeekMoE) переделали в двунаправленные энкодеры с полной видимостью контекста и усреднённым объединением векторов. Трёхэтапный процесс обучения содержал контрастное предобучение (InfoNCE), тонкую настройку на поиске информации и многозадачное обучение (поиск информации, классификация и так далее). Дистилляция для 480M модели применяла перенос знаний через KL-дивергенцию между распределениями схожести учителя и ученика (не зависит от размерности эмбеддингов).

Среди ограничений выделяют одиночные прогоны бенчмарков (нет оценок погрешности) и использование непубличных данных (невозможность полного воспроизведения), в то же время замеры скорости привязаны к конкретному окружению (vLLM).

В результате качество 10B MoE модели лучшее внутри семейства на всех бенчмарках (EN, RU, Multi Code), лидируя в русскоязычном MTEB. По скорости 10B MoE модель оказалась самой быстрой на выводе (на 25% быстрее плотной 3B и в 1.56-2.65 раза быстрее аналогов). По компактности 480M модель превосходит FRIDA (823M) в русском MTEB, будучи на 42% меньше.