Что такое локальное ИИ Colibri и как оно работает
Как и обещал для 2 моих подписчиков, разбираем что такое Colibri и как его установить на компьютер под управлением ОС Windows (если будет нужно сделаю отдельный пост установке на ОС Linux). Что ж приступим.
Colibri под Windows: запуск гигантских MoE-моделей на локальном ПК с меню выбора
1. Введение: что такое Colibri и как устроен иерархический инференс
Colibri (JustVugg/colibri) — это специализированный локальный движок инференса, созданный для запуска сверхбольших архитектур Mixture of Experts (MoE) без необходимости иметь вычислительный кластер из дорогих серверных ускорителей.
В стандартных фреймворках вся модель обязана целиком загружаться в видеопамять или RAM. В MoE-моделях (размером в сотни миллиардов параметров) для обработки каждого отдельного токена требуется лишь малая часть всей сети:
Например, в GLM-5.2 (744 млрд параметров) для генерации одного токена задействуется около 40 млрд весов (~5.4% активных параметров), и лишь порядка 11 ГБ этих весов динамически сменяются от шага к шагу — это так называемые маршрутизируемые эксперты (routed experts).
Иерархическая память Colibri делит модель на три уровня:
GPU (CUDA / Vulkan): удерживает постоянные плотные слои и самые востребованные («горячие») эксперты.
ОЗУ (RAM): хранит плотную базовую часть (внимание, общие эксперты, эмбеддинги) и динамический кэш промежуточных («тёплых») экспертов.
NVMe SSD: хранит весь массив «холодных» экспертов, которые считываются потоком прямо во время декодирования по сигналу маршрутизатора.
Движок написан на чистом Си без скрытых зависимостей и предоставляет полноценный локальный OpenAI- и Anthropic-совместимый API, а также веб-дашборд с картой срабатывания экспертов в реальном времени.
2. Развертывание Colibri на Windows
Системные требования
ОЗУ: минимум 8 ГБ (для комфортной работы моделей от 30B рекомендуется 16–32 ГБ и выше).
Диск: от 25 ГБ свободного места для компактных моделей. Для моделей со стримингом экспертов крайне желателен быстрый NVMe SSD (скорость чтения напрямую определяет скорость генерации токенов).
Видеокарта: поддерживаются NVIDIA GPU (CUDA), любые видеокарты с поддержкой Vulkan, встроенная графика (iGPU) или чистый CPU.
Первоначальная установка в один шаг
Скачайте репозиторий со страницы JustVugg/colibri архивом (кнопка Code -> Download ZIP) и распакуйте его (например, в C:\colibri).
2. Запустите файл START-HERE.bat.
3. Скрипт проверит конфигурацию вашей системы (объем RAM, диск, видеокарты), предложит оптимальную модель для первого запуска, скачает бинарники движка в пользовательский каталог (%LOCALAPPDATA%\colibri\runtime\...) и запустит веб-интерфейс.
3. Каталог поддерживаемых моделей Colibri
Все модели делятся на три категории в зависимости от того, как они размещаются в памяти.
Компактные модели (целиком помещаются в RAM / VRAM)
Работают быстро, эксперты не требуют постоянного чтения с диска:
Крупные модели со стримингом экспертов с NVMe SSD
Базовая часть загружается в оперативную память, а сотни экспертов поднимаются с диска по запросу:
Модели принятия решений (System One)
Узкоспециализированные легковесные модели для мгновенной классификации намерений и маршрутизации запросов (не ведут диалог):
Laya (0.85 ГБ скачивание, 1.7 ГБ на диске) — время ответа ~219 мс на CPU.
GLiNER2.5-Decide (1.95 ГБ скачивание, 1.9 ГБ на диске) — время ответа ~160–290 мс.
4. Как докачивать новые модели
Для загрузки моделей не нужно вручную искать ссылки на веса: Colibri делает это встроенными командами с возможностью докачки в случае обрыва связи.
1. Через утилиту START-HERE.bat
Укажите каталог хранения (например, быстрый SSD B:\AI\colibri-models) и ID желаемой модели из таблицы:
Если скачивание прервётся, повторный запуск той же команды подхватит прогресс с последнего сохраненного байта.
START-HERE.bat --model qwen3-coder-30b --dir B:\AI\colibri-models
2. Через консольную утилиту CLI
Если runtime Colibri уже установлен в системе, можно скачивать напрямую через внутренний CLI:
"%LOCALAPPDATA%\colibri\runtime\colibri-v2.1.0\coli.cmd" install --model deepseek-v4-flash --dir B:\AI\colibri-models
3. Импорт любых внешних файлов GGUF
Если у вас уже скачаны любые другие сторонние GGUF-модели (от IQ1_S до Q8_0, BF16 и др.), Colibri умеет запускать их напрямую:
"%LOCALAPPDATA%\colibri\runtime\colibri-v2.1.0\coli.cmd" import "D:\Downloads\my-model-Q4_K_M.gguf" "B:\AI\colibri-models\custom-model"
5. Запуск с выбором модели через пакетный файл (CMD / BAT)
Чтобы каждый раз не вводить пути и аргументы вручную, используется пакетный скрипт запуска. Он выводит интерактивное меню, отключает блокировки SSRF для взаимодействия с локальными ботами и агентами, блокирует спекулятивные зависания и выполняет фоновый прогрев движка.
Создайте файл run_colibri.bat (например, на рабочем столе или в каталоге с моделями):
@Echo off
chcp 65001 >nul
cls
echo ===================================================
echo ВЫБОР МОДЕЛИ COLIBRI
echo ===================================================
echo 1) Qwen 3.6 35B (Чат, рассуждения, инструменты)
echo 2) Qwen 3 Coder 30B (Код, скрипты, без thinking)
echo 3) Qwen Image 2.1 (Генератор картинок)
echo ===================================================
set /p choice="Выберите номер модели [1-3]: "
if "%choice%"=="1" (
set TARGET_MODEL=B:\AI\colibri-models\qwen36-35b
) else if "%choice%"=="2" (
set TARGET_MODEL=B:\AI\colibri-models\qwen3-coder-30b
) else if "%choice%"=="3" (
set TARGET_MODEL=B:\AI\colibri-models\qwen-image-2.1
) else (
echo Неверный выбор!
pause
exit /b
)
:: Сетевые разрешения и отключение SSRF фильтра для Telegram
set COLI_ALLOW_INSECURE_BIND=1
set COLI_ALLOWED_HOSTS=*
set COLI_ALLOW_PRIVATE_IP=1
set COLIBRI_SECURITY_SSRF_ENABLED=0
:: Отключение спекулятивного лукапа (устраняет подвисания холодного старта)
set Q36_SPEC_GATE=0
set Q36_LOOKUP=0
set SPECULATIVE_DECODING=0
:: Таймауты ожидания ответа
set COLIBRI_TIMEOUT=180
set HTTP_TIMEOUT=180
:: Модель для runtime
set COLI_MODEL=%TARGET_MODEL%
:: Фоновый прогрев (выполняется отдельным скрытым процессом без синтаксических конфликтов cmd/powershell)
start "" /min powershell -NoProfile -ExecutionPolicy Bypass -Command "$ErrorActionPreference='SilentlyContinue'; Start-Sleep -Seconds 8; try { Invoke-RestMethod -Uri 'http://127.0.0.1:8000/v1/chat/completions' -Method Post -TimeoutSec 120 -ContentType 'application/json' -Body '{\"messages\":[{\"role\":\"user\",\"content\":\"hi\"}],\"max_tokens\":1}' } catch { Invoke-RestMethod -Uri 'http://127.0.0.1:8000/chat/completions' -Method Post -TimeoutSec 120 -ContentType 'application/json' -Body '{\"messages\":[{\"role\":\"user\",\"content\":\"hi\"}],\"max_tokens\":1}' }"
echo Запуск %TARGET_MODEL% с контекстом 8192 токенов...
"C:\Users\gds280\AppData\Local\colibri\runtime\colibri-v2.1.0\coli.cmd" serve --model "%TARGET_MODEL%"
pause
6. Проверка и подключение приложений
После старта батника сервер открывает порты и готов к интеграции:
Веб-интерфейс дашборда: [http://127.0.0.1:8000/](http://127.0.0.1:8000/)
OpenAI-эндпоинт: [http://127.0.0.1:8000/v1](http://127.0.0.1:8000/v1)
Проверить доступность можно через PowerShell:
Invoke-RestMethod -Uri "http://127.0.0.1:8000/v1/chat/completions" `
-Method Post `
-ContentType "application/json" `
-Body '{"messages":[{"role":"user","content":"Привет! Ты работаешь?"}]}'
Для остановки сервера в терминале Colibri достаточно нажать Ctrl + C, либо вызвать в отдельном окне команду :
coli.cmd stop
PS....
Если при скачивании модели вы получаете такую ошибку:
Обновите хранилище сертификатов командой :
pip install --upgrade certifi pip-system-certs
или временно отключите проверку SSL для загрузчика Python
Откройте командную строку (cmd.exe).
Выполните:
set PYTHONHTTPSVERIFY=0
set CURL_CA_BUNDLE=
Из этой же открытой консоли перейдите в папку Colibri и перезапустите:
START-HERE.bat
Вроде всё, всем спасибо кто дочитал, а кто попробовал поставить и у него заработало ОГРОМНЕЙШЕЕ СПАСИБО ))))
