61 тест для ИИ-ментора, которым нельзя верить: как стенд обманул разработчика

Автор встроил в учебную платформу ИИ-ментора, который видит уроки, прогресс студента и его последнюю попытку по заданию. Чтобы не выбирать модель наугад и не править промпт по ощущениям, он собрал стенд из 61 автоматического теста и начал принимать решения по его цифрам.

Через неделю выяснилось, что стенд ошибается: он засчитывает оборванный ответ, пропускает готовое решение задачи под другим именем переменной и валит правильный отказ. Ещё через неделю модель на стенде вела себя безупречно, а на проде на том же классе вопросов — нет.

В статье автор разбирает, как устроен стенд, что он помог решить, где создавал ложную уверенность и почему в итоге перестал доверять модели полностью.