Отдал сайт ИИ-агентам: из 111 находок аудита 25 — мусор, 4 — выдумка

Эксперимент с делегированием сайта ИИ-агентам обернулся неожиданным выводом: кода они генерируют быстрее, чем человек успевает его читать. 207 коммитов — а вот контроль качества превратился в бутылочное горлышко. Автор признаётся: если не встроить проверку прямо в конвейер, грань между «работает» и «выглядит так, будто работает» стирается.

Аудит выявил 111 проблем в результатах работы агентов. Из них 25 отправились в мусор — это были ложные срабатывания или неактуальные ошибки. Ещё 4 оказались полностью выдуманными: агент «придумал» несуществующие баги. Остальные находки, видимо, были реальными, но полный список не приводится.

Главный урок — не в скорости разработки, а в необходимости жёсткой валидации. ИИ-агент способен быстро плодить правки, но без человеческого контроля или автоматических проверок легко принять галлюцинации за реальные проблемы. Это ещё один аргумент за то, чтобы не слепо доверять агентам, а строить вокруг них системы проверки.