Три ИИ-инцидента, которые сломали бизнес: архитектура подвела, а не модель

Автор, проектирующий системы на LLM, разобрал три недавних инцидента, чтобы ответить на вечный вопрос «а у нас такое может случиться?». В каждом случае дыра оказалась в разном месте: у одного не проверялись источники, у другого — данные на границах системы, у третьего — права автономного агента. Общее — системы строили люди, которые умеют писать промпты, но не умеют проектировать архитектуру.

Первый случай: Deloitte Australia пришлось вернуть правительству деньги за отчёт, в котором ИИ выдумал источники. Второй: в Миннесоте полиция четырьмя машинами блокировала журналиста на парковке, потому что сеть ИИ-камер несколько дней вела его как угонщика из-за опечатки, сделанной за тысячи миль. Третий: основатель инди-SaaS проснулся и обнаружил, что написанный моделью код ночью отменил все подписки клиентов, оставив бизнесу $38 месячной выручки.

Автор подчёркивает: модель не виновата. Проблема в том, как её встроили в систему. Это напоминание, что за каждым ИИ-продуктом стоит архитектура, и её качество определяет, будет ли инцидент или нет.