Qwen3.8 обошла GPT-5.6 Luna Max в тесте анализа данных
Alex Monahan из MotherDuck собрал связку Qwen3.8 27B и DuckDB для работы с данными. Он настроил её на MacBook Air M5 с 32 ГБ памяти и MacBook Pro M1 Pro с 16 ГБ, а затем проверил на более чем 400 задачах DABstep.
В тесте Qwen превзошла GPT-5.6 Luna Max по соотношению точности и стоимости: точность составила 98,6% у 4-битной версии и 96,4% у 3-битной. Самой точной в сравнении оказалась Gemini 3 Flash.
Прогон Qwen обошёлся менее чем в $0,50 за электричество против более $8 у GPT-5.6 Luna Max. Но ответы были медленнее: около 5–6 минут на вопрос против примерно 40 секунд у GPT и 25 секунд у Gemini. Это собственный эксперимент автора; при подготовке контекста он также использовал облачную модель.
Источники: перевод на Хабре · оригинальный отчёт MotherDuck