ИИ-читатель пропускает брак: почему регрессионное тестирование промптов подводит

Правка промптов для агентов, которые пишут и проверяют тексты, — дело тонкое: легко сломать то, что раньше работало. Чтобы этого избежать, автор собрал набор примеров с известными ответами и прогнал по нему проверку, где ИИ-модель выступает читателем.

Результат оказался неожиданным: тексты, которые он сильно переписывал руками, модель чаще пропускала, чем возвращала на доработку. В набор входили и почти нетронутые тексты, но именно сильно правленые стали слабым местом.

Если принимать правку промпта на основе такой проверки, брак уйдёт дальше, а тест будет гореть зелёным. Это сигнал, что регрессионное тестирование промптов с ИИ-читателем требует более строгих критериев и, возможно, дополнительных методов контроля.