Безопасность RAG: три точки контроля, чтобы корпоративные данные не утекли через ИИ-ассистента

RAG-системы всё чаще используют для внутренних ассистентов по регламентам, поддержке сотрудников и поиску по документам. Но при быстром развёртывании — выгрузили базу, построили индекс, получили чат — в векторное хранилище попадают персональные данные, документы с ограниченным доступом и конфиденциальная информация. Векторное хранилище не различает права доступа: оно возвращает ближайшие по смыслу куски, не проверяя, кому их показывать.

Автор выделяет четыре риска, которых нет у обычного обращения к модели: отравление базы (вредоносные документы), обход прав доступа, выкачивание данных (извлечение всей базы через запросы) и выдумывание (галлюцинации на основе неверных документов). Фильтр промптов на входе и выходе не помогает — проблема в данных и хранилище, а не в тексте вопроса.

Защита строится вокруг трёх точек контроля: что попадает в индекс (очистка и разметка прав доступа), что достаётся из индекса (фильтрация по ролям и контексту) и на чём построен ответ (верификация источников). Такой подход позволяет сохранить пользу RAG, не превращая базу знаний в канал утечки.