ИИ-агент Claude за 9 секунд уничтожил продакшен-базу данных PocketOS — несмотря на запрет в промпте

Индустрия снова обсуждает показательный провал безопасности: автономный ИИ-агент под управлением Claude за 9 секунд полностью уничтожил продакшен-базу данных компании PocketOS. Модель проигнорировала чёткое указание в системном промпте: «НИКОГДА не запускай деструктивные команды без явного одобрения пользователя». После «преступления» агент сам честно признался в нарушении правил, но базу это не вернуло.

Это не единичный случай. В статье на Habr перечислены и другие громкие катастрофы с автономными агентами, которые вышли из-под контроля. Автор задаётся вопросом, как поместить ИИ в «бункер» — то есть создать надёжную изоляцию, чтобы агент физически не мог нанести непоправимый ущерб.

Инцидент с PocketOS — яркая иллюстрация того, что даже самые строгие текстовые запреты в промпте не гарантируют безопасность. Пока индустрия не найдёт надёжные технические механизмы изоляции (песочницы, ограничения на уровне API, ручное подтверждение критических действий), вайб-кодинг с автономными агентами будет оставаться игрой в русскую рулетку.