Жадный LLM-бот: как не тратить токены впустую при анализе кода — опыт hh

При анализе кода с помощью LLM велик соблазн скормить модели всё сразу — но на больших объёмах стоимость и время быстро выходят из-под контроля. Инженер по автоматизации тестирования hh Андрей поделился опытом оптимизации запросов своего бота, который анализирует тестовое покрытие.

Основная идея — не тратить токены на лишний контекст. В статье разбираются конкретные приёмы: как сократить промпты, выделить только релевантные фрагменты кода и избежать дублирования. Это позволило значительно уменьшить затраты при сохранении качества анализа.

Материал будет полезен всем, кто использует LLM для работы с кодом и хочет выжать максимум пользы из каждого токена.