Почему один запрос ИИ-агента сжигает 120 000 токенов: разбор и решение

Пользователь заметил, что его запрос к автономному агенту (ищет в сети, генерирует медиа, режет видео) обошелся в 38 кредитов — втрое дороже, чем следовало из цен OpenRouter. Разработчики начали расследование: агентный цикл на базе hermes-agent, инструменты через MCP, оплата по токенам.

Ожидали найти проблему в длинных промптах или циклических вызовах, но истина оказалась неочевидной. Выяснилось, что каждый ход агента потребляет до 120 000 токенов из-за неэффективной передачи контекста между инструментами и избыточного логирования промежуточных результатов.

Команда переработала механизм сжатия контекста, ввела кэширование повторяющихся вызовов и оптимизировала формат сообщений между MCP-серверами. После правок стоимость типичного запроса снизилась втрое, а число токенов на ход упало до 40 000.

История — хороший пример того, как прозрачность биллинга помогает находить узкие места в агентных системах. Разработчики обещают выложить патчи в открытый доступ.