Claude Code против человека: кто находит больше багов — эксперимент за 11 недель

Разработчик провёл 11-недельный эксперимент, ежедневно фиксируя каждую сессию с Claude Code: сколько часов работал агент, сколько — человек, и какова судьба каждого кандидата в дефекты. Всего набралось 277 агентских часов против 213 человеческих.

Итог: 94 подтверждённые находки, из которых 77 обнаружил Claude Code и лишь 16 — человек. Однако первый подсчёт находок оказался завышен почти вдвое — после верификации остались только реальные баги.

Автор также подсчитал стоимость часа работы агента, выяснил, в каких сценариях агент не окупился, и какие дефекты он пропустил. Эксперимент даёт практическую картину: ИИ-тестировщик эффективен по количеству, но требует учёта затрат и ограничений.