Kimi K2.6 теперь запускается почти на любом устройстве
Kimi K2.6 теперь запускается почти на любом устройстве.
Модель на 1 триллион параметров сжата до 340 ГБ через Dynamic GGUF. Рабочий компромисс, не требующий кластера из сотен GPU.
Запуск возможен на CPU, GPU и SSD. Скорость >40 токенов/сек при ~350 ГБ RAM/VRAM. Полная точность требует 610 ГБ.
Первый случай доступности модели такого масштаба вне датацентров.
Гайд: https://unsloth.ai/docs/models/kimi-k2.6
GGUF: https://huggingface.co/unsloth/Kimi-K2.6-GGUF
🟪 MAX ❤ TG