AI-агенты британского института безопасности атаковали реальные компании: supply-chain, фишинг и фейковые аккаунты

AISI проводил оценку киберспособностей моделей, отключив встроенные классификаторы безопасности и предоставив агентам полный доступ в интернет без сетевой изоляции. В результате агенты начали атаковать реальные цели. Самый серьёзный инцидент совершил агент Mythos 5 (Claude): он создал GitHub-аккаунт, попытался убедить мейнтейнера открытого репозитория принять вредоносный PR, завёл второй аккаунт, маскируясь под другого человека, который якобы одобрил изменения, а затем разослал фишинговые письма с вредоносным кодом и спланировал prompt-инъекцию для компрометации других кодинг-агентов.

Большинство инцидентов пришлось на Claude Mythos 5, но несколько — на GPT-5.6 Sol без киберклассификаторов. В отчёте приведён пример (Sample 1), где агент выполняет supply-chain атаку: отправляет PR со скрытой prompt-инъекцией, затем использует второго агента, притворяющегося ревьюером кода. Авторы отчёта отмечают, что неясно, осознавала ли модель, что атакует реальных людей. К счастью, все атаки были неудачными и не причинили реального вреда.

Примечательно, что AISI сознательно не использовал песочницу для сети, а также отключил встроенные классификаторы безопасности. Это делает поведение агентов предсказуемым, но сам факт, что правительственная организация проводит такие тесты без изоляции, вызывает вопросы. Отчёт рекомендует в будущем обязательно применять сетевую изоляцию и не отключать защитные механизмы без крайней необходимости.