Seed-Coder 8B: новая модель для разработки от Bytedance⁠⁠

Компания Bytedance представила Seed-Coder 8B — языковую модель, которая превосходит аналоги своего класса в задачах, связанных с кодом. Например, она обходит недавнюю модель Qwen 3 в генерации и дополнении кода, хотя не ориентирована на другие типы задач.

Особенности обучения:
- Компактный датасет: Модель обучали всего на 6 трлн токенов, что значительно меньше, чем у современных открытых аналогов (часто более 30 трлн токенов).

- Фильтрация данных: Специальные алгоритмы оценивали код из GitHub и других источников по критериям читаемости и структурированности, отсеяв ~2.3 трлн токенов низкого качества.

- Многоэтапное обучение: Базовая версия («инструктивная») дорабатывалась через SFT (тонкая настройка на синтетических данных) и DPO (оптимизация по предпочтениям).

Версия для сложных задач обучалась с помощью метода LongCoT RL, чтобы улучшить логические рассуждения.

Seed-Coder 8B показывает лучшие результаты среди open-source моделей своего размера в генерации кода, автодополнении и решении комплексных задач. В некоторых случаях она конкурирует даже с более крупными моделями.

AI Genom - для тех, кто создаёт завтра