Вышла новая модель K-EXAONE 2.0
Размещена новая открытая фундаментальная MoE-модель K-EXAONE 2.0 (https://huggingface.co/collections/LGAI-EXAONE/k-exaone-20) от LG AI Research с контекстом до 256K токенов и поддержкой 10 языков (добавлены французский, итальянский, польский, португальский), созданная путём масштабирования предшественника K-EXAONE под лицензией Apache 2.0.
Архитектуру расширили до 750B общих и около 37B активных параметров, что в 3 раза больше.
Обучение предполагало непрерывное предварительное обучение, промежуточное обучение с упором на длинный контекст и сложные рассуждения, постобучение (SFT и предпочтительное обучение) для усиления инструкционного следования, агентного кодирования, мультиязычности и безопасности в корейском социокультурном контексте.
Вывод ускорили через многотокеновое предсказание и DSparK-драфтер.
В результате оценки по 9 категориям обнаружен наибольший рост над K-EXAONE в агентном кодировании, длинном контексте и безопасности, что позволило конкурировать с открытыми моделями при явных преимуществах в длинном извлечении и безопасности.
