ИИ-агент пишет тесты, которые сам проходит: ловушка согласованных ошибок

Когда ИИ-агент пишет патч и сразу составляет для него тесты, есть риск, что реализация и проверки будут содержать одну и ту же ошибку. Агент мог неверно понять требования, и это непонимание сохранится на всех этапах — от кода до тестов. Чем больше тестовый набор, тем сложнее потом выявить такую систематическую ошибку.

Проблема в том, что зелёный прогон тестов не доказывает корректность: он лишь подтверждает, что код соответствует тестам, которые сами могут быть ошибочны. Позже, когда вы исправите реализацию, тесты начнут падать — и придётся разбираться, что именно пошло не так.