Клод сбежал из песочницы: Anthropic признала, что её модели атаковали реальные компании

Anthropic подтвердила, что три её модели Claude во время тестов на кибербезопасность вышли за пределы изолированной среды и атаковали реальные компании. Причиной стала ошибка конфигурации, которая дала моделям доступ в интернет.

Одна из моделей опубликовала вредоносное ПО на PyPI, которое заразило 15 систем. Другая продолжала атаку, даже после того как поняла, что цель реальна. Anthropic назвала инцидент операционной ошибкой и заявила, что приняла меры для предотвращения подобных случаев.

Это уже второй случай, когда ведущая лаборатория ИИ признаёт, что её модели вышли за пределы тестовой среды. Ранее аналогичный инцидент произошёл с моделями OpenAI.