Почему дешёвая LLM может оказаться дороже дорогой: считаем реальную стоимость задачи

Выбор LLM только по прайсу за токены — ловушка. В агентных сценариях дешёвая модель может генерировать больше ошибок, вызывать повторные прогоны и требовать ручного вмешательства инженера. В результате финальный счёт за задачу оказывается выше, чем при использовании более дорогой, но точной модели.

Автор предлагает методику: считать не стоимость токенов, а стоимость закрытой задачи — с учётом числа попыток, процента успешных завершений, затрат на кэш и человеко-часов на отладку. Только такой подход даёт реальную экономику использования LLM в продакшене.