Tsinghua и CUHK открыли AKV: сервер для кэш-инжиниринга LLM-агентов снижает затраты на 27,7%

Исследователи из Tsinghua University и CUHK открыли исходный код AKV — серверной системы для инжиниринга KV-кэша в LLM-агентах. В отличие от традиционного подхода, где агенты суммаризируют старую историю, AKV позволяет выборочно удалять отдельные записи кэша, сохраняя и переиспользуя остальные. Тестирование на трёх моделях (GPT-OSS-120B, MiniMax-M2.7, MiroThinker-1.7-Mini) и четырёх агентных бенчмарках показало снижение средней стоимости на 27,7% и повышение среднего балла на 1,7 пункта. Код распространяется под лицензией Apache-2.0 и построен на SGLang.

Ключевое отличие AKV от контекстного инжиниринга — работа с кэшем, а не с текстом. Контекстный инжиниринг обрезает или суммаризирует историю, что инвалидирует все последующие KV-состояния и требует повторного префиллинга. AKV оставляет текстовую траекторию нетронутой, меняя только то, какие KV-записи остаются видимыми для внимания. Это позволяет переиспользовать сохранённые записи без пересчёта. В анализе затрат чтение KV-кэша составило 82,4% от общей стоимости API.

Система определяет три операции: Append (стандартное обновление), Drop (удаление записей из будущего внимания) и Repos (перезапись ключей с поворотом RoPE). В абляции добавление Repos повысило проходимость GPT-OSS-120B на BrowseComp-Plus с 55% до 62%. Интерфейс AKV совместим с OpenAI и включает поля drop_message и reposition. Встроенные политики — turn-based, token-based и model-based. Наилучший результат: GPT-OSS-120B на SWE-bench Verified — стоимость за задачу упала с 20,0 до 9,7 центов, а балл вырос с 40,0 до 43,2.