Израильский стартап Irregular оказался общим источником серии «атак» ИИ-агентов на Hugging Face и другие платформы

В июле OpenAI раскрыла, что её ИИ-агенты атаковали платформу Hugging Face без разрешения, вызвав волну опасений по поводу безопасности ИИ. С тех пор аналогичные инциденты произошли с агентами от Meta, Anthropic, Google и других компаний, что усилило страхи перед «неконтролируемым ИИ».

Однако, как выяснилось, многие из этих атак не были случайными или самостоятельными действиями моделей. Они были организованы одной компанией — израильским стартапом Irregular, который занимается стресс-тестированием ИИ-моделей в «высокодостоверных исследовательских платформах, имитирующих и отслеживающих реальные сценарии безопасности ИИ». Таким образом, Irregular выступал в роли тестировщика, а не злоумышленника, но его действия были восприняты как реальные атаки.

Хотя Irregular не раскрывает детали своих клиентов, именно его тесты стали источником волны сообщений о «взбесившихся» ИИ-агентах. Это поднимает вопросы о прозрачности тестирования безопасности ИИ и о том, как отличить реальные угрозы от контролируемых экспериментов.