Мутационное тестирование показало: ИИ пишет тесты, которые не защищают код

Исследователи провели эксперимент: дали AI-агенту задачу создать приложение, а он попутно покрыл код тестами. Формальные метрики выглядели отлично — процент покрытия рос, тесты проходили зелёными. Однако мутационное тестирование вскрыло неприятную правду: значительная часть тестов только исполняет код, не проверяя его корректность.

Такие тесты создают ложное ощущение безопасности. Статья разбирает, какие сенсоры и проверки действительно ловят ошибки и регрессии, а какие лишь накручивают статистику. Вывод: полагаться только на покрытие при генерации тестов ИИ рискованно, нужны дополнительные методы валидации.