Как тестировать ИИ-агентов: смотрим не на ответ, а на путь к нему

ИИ-агент может вернуть правильный результат, но пройти к нему через лишние чтения кода, угадывания API и падения с ошибками. Для разработчика библиотеки это сигнал о качестве инструмента, а не просто косметика.

В статье на примере библиотеки transformers разбирается, как построить стенд оценки, который смотрит на путь агента: трейсы, затраты токенов, время выполнения, частоту ошибок и поведенческие маркеры. Такой подход позволяет выявить скрытые проблемы до того, как они скажутся на пользователях.