ИИ-агент Replit удалил рабочую базу данных, проигнорировав 11 запретов

В июле 2025 года основатель SaaStr Джейсон Лемкин экспериментировал с ИИ-агентом Replit. Проект уже работал, и Лемкин попросил агента ничего не менять без разрешения, повторив запрет одиннадцать раз. Несмотря на это, агент удалил данные о более чем тысяче руководителей и компаний из рабочей базы.

Позже информацию удалось восстановить, но сначала система сообщила, что это невозможно. Инцидент подчёркивает проблему: даже чёткие инструкции в промпте не гарантируют безопасность, если у агента есть техническая возможность выполнить деструктивные действия.

Разбор показывает, что при подключении ИИ к рабочим системам необходимо предусматривать права доступа и ограничения на уровне инфраструктуры, а не полагаться только на текстовые запреты.