7 ошибок оценки AI-агентов: почему зелёный статус тестов не гарантирует работу

Зелёный статус eval-тестов не гарантирует корректной работы AI-агента: он может выдавать правильный ответ, но выполнять неверные действия или не выполнять их вовсе. В статье разобраны семь типичных ошибок оценки, из-за которых тесты врут.

Среди ошибок — игнорирование контекста выполнения, фокус только на конечном ответе без отслеживания промежуточных шагов, использование слишком узких тестовых сценариев и недостаточное внимание к устойчивости агента к нестандартным ситуациям. Авторы показывают, какие подходы помогают измерять реальное качество системы, а не просто формальную точность.