Фаззер против ИИ-агента: Project Zero сравнила поиск уязвимостей в V8 — LLM нашла 45 багов, фаззер 37

В Project Zero сравнили два автоматизированных конвейера поиска уязвимостей в V8 — движке JavaScript в Chrome. Фаззер Fuzzilli работает непрерывно, а LLM-агент BigSleep раз в сутки анализирует новые коммиты в коде.

За апрель–сентябрь 2026 года после очистки от дубликатов у BigSleep оказалось 45 исправленных багов, у Fuzzilli — 37. Пересечение составило 20 из 81 репорта (примерно четверть), хотя изначально общих репортов было больше — часть отсеялась при дополнительной проверке.

В отдельном эксперименте агенту на модели Gemini 3.6 flash дали коммиты, которые, по оценкам, внесли 112 старых багов, найденных Fuzzilli. С 25 попыток на коммит он заново обнаружил около 62% из них. Чем дольше фаззер тратил на поиск бага, тем хуже справлялся агент, а в JIT-компиляторах пересечение оказалось меньше. Полный разбор методики и три примера уникальных находок — в переводе статьи Самуэля Гросса.