CI теперь ловит «зелёные» тесты от нейросети: инструмент сравнивает поведение старого и нового кода

Проблема знакома многим: нейросеть генерирует код, тесты к нему — и всё зелёное. Но через неделю выясняется, что функция скидки начала принимать отрицательный процент. Линтер молчит, ревьюер видит аккуратную правку в одну строку и жмёт Approve. Автор статьи столкнулся с этим и сделал инструмент, который проверяет не синтаксис и не покрытие, а поведение.

Инструмент берёт каждую изменённую функцию, запускает старую и новую версию на одних и тех же входах и показывает первый вход, на котором результаты разошлись. Внутри есть confidence‑scorer и даже нейросеть, но у неё нет решающего голоса — только подсказки. Под катом автор рассказывает о граблях и архитектуре решения.