NVIDIA научила ИИ экономить до 49% токенов у кодовых агентов: SoL-Pi уже на GitHub

Кодовые агенты работают часами, и каждая правка, каждый прогон теста и чтение лога уходят в контекст модели. Команда из NVIDIA, NTU и MIT решила бить не в стоимость токена, а в их количество: они представили SoL-Pi — набор из четырёх механизмов для открытого агента Pi. На бенчмарке EdgeBench из 51 задачи новинка режет записанный трафик токенов на 44,7–49% по сравнению с базовым Pi, а расходы на API — примерно на треть. При этом качество ответов почти не страдает: оценки держатся вблизи Pi на моделях GPT-5.6 Sol и Opus 5.

Вместо того чтобы ускорять ядра или менять модель, авторы сосредоточились на обвязке — слое, который обрабатывает вызовы инструментов, контекст и делегирование. Ручная настройка тут медленная, а элементы связаны: исправишь одно — вырастет стоимость на следующих шагах. Поэтому поиск решений отдали ИИ: исследовательская модель наблюдала за трассами выполнения базового Pi, предлагала изменения и тестировала их. За цикл перебрали 152 направления в шести семействах, 535 сред (495 из пар issue-pull request на GitHub и 40 синтетических задач) и более 3000 запусков. Каждый поиск — изолированный цикл с фиксированными правилами приёмки и независимым рецензентом.

До финала дожили четыре механизма. Action Fusion склеивает правку файла и команду теста/сборки в один запрос, убирая лишний проход модели. Online Context Compact следит за планом и включает родное сжатие контекста Pi, когда экономия на входных токенах перевешивает затраты на переписывание кэша. ObservationPack архивирует выводы инструментов крупнее 10 КиБ: полный текст отдаёт только в первых двух запросах, дальше модель видит стабильный хэндл, размер и короткую выжимку. Evidence-Preserving Reducer отправляет логи сборки от 4 КиБ на дешёвую модель GPT-5.6 Luna, которая пишет компактную сводку, а детерминированный верификатор проверяет её схему, хэш, статус выхода и цитаты — при сомнениях возвращается оригинал.

SoL-Pi уже доступен на GitHub в репозитории NVlabs под лицензией MIT. Расширение работает на неизменённом Pi 0.85.1 и требует Node.js 22.19 или новее. Это практичный пример того, как автономный поиск на уровне обвязки может заметно удешевить работу агентов без потери качества.