NVIDIA срезала расход токенов кодинг-агента почти вдвое — не трогая модель⁠⁠

Исследователи NVIDIA вместе с коллегами из Наньянского технологического университета и MIT показали неприятную вещь: половина счёта за автономного программиста уходит не на мышление модели, а на кривую обвязку вокруг неё. Переписав только обвязку, они получили систему SoL-Pi — минус 45–49% токенов при сохранении около 94% качества.

Что такое «харнес» и почему он дороже, чем кажется

Между моделью и терминалом стоит служебный слой — харнес. Он решает, как агенту показывают состояние файлов, как тот вызывает инструменты и что из накопленного контекста поедет в следующий запрос. Долгое время это считалось инженерной мелочью: модель думает, обвязка подаёт. Поэтому и весь тюнинг последних лет шёл по линии моделей — новые версии, новые режимы рассуждения, более длинный контекст.

SoL-Pi бьёт в другую точку. Модель не трогали вообще: тот же GPT-5.6 Sol, тот же Claude Opus 5 — менялось только то, что происходит вокруг них.

Четыре приёма, которые отобрала машина

Механизмы искали не люди. Агентов запустили прочёсывать 535 исполняемых сред и 152 направления оптимизации — больше 3000 прогонов и свыше 60 000 взаимодействий со средой. До финала дожили четыре приёма.

Action Fusion склеивает правку файла и следующую за ней команду в один вызов, чтобы модели не приходилось принимать промежуточное решение. Online Context Compact сжимает накопленный контекст в момент, когда подзадача закрыта и будущая экономия окупает стоимость сжатия. ObservationPack подменяет повторяющиеся простыни вывода инструментов короткими ручками, оставляя постраничный доступ к архиву. Evidence-Preserving Reducer отдаёт чтение длинных логов дешёвой модели, но привязывает к выжимке квитанции на исходные записи — чтобы результат можно было проверить, а не принять на веру.

Счёт

На EdgeBench — наборе из 51 задачи, где агент работает непрерывно от двух до двенадцати часов — расклад получился такой. На GPT-5.6 Sol штатный Codex сжёг 3,05 млрд токенов, харнес Pi — 2,15 млрд, SoL-Pi — 1,10 млрд. На Claude Opus 5: Claude Code 2,00 млрд, Pi 2,37 млрд, SoL-Pi 1,31 млрд.

В деньгах тот же прогон: 1787 долларов у Codex против 894 у SoL-Pi и 2535 у Claude Code против 1158. В пересчёте на час работы агента экономия составляет от 8,75 до 13,50 доллара против штатных харнессов.

Чем за это заплатили

Экономия не бесплатная. На Terminal-Bench 4 из 63 задач SoL-Pi решил 15 против 18 у Codex и Pi — дешевле (211 долларов против 272 и 286), но слабее. Средний балл на EdgeBench — около 94% от Pi. Поэтому авторы собрали и второй вариант харнеса, с приоритетом качества: он даёт плюс 5,3% к Pi, но экономит уже не так резко.

Вывод для всех, кто гоняет агентов в проде, простой: если счёт кажется большим, читать его стоит не с прайса модели. Код и статья выложены открыто.

Источники: NVIDIA Labs · arXiv · The Decoder

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей