Eval показывает 96%, а в проде — критическая ошибка: семь граблей при тестировании LLM-фич

Eval показывает 96% качества, тесты зелёные — а после релиза LLM-ассистент совершает критическую ошибку. Знакомая ситуация? Часто дело не в модели, а в самой системе оценки: она пропускает опасные ответы и создаёт ложное ощущение надёжности.

Автор разбирает семь типичных ошибок при тестировании LLM-функций — от неправильно составленных датасетов до игнорирования краевых случаев — и объясняет, как построить eval, результатам которого действительно можно доверять.

Главный вывод: высокий процент в eval — не повод для самоуспокоенности, если метрики не проверены на реальных сценариях и не включают проверку безопасности.