Кража памяти Claude: как атакующий вытягивает личные секреты пользователя

Безопасность систем памяти ИИ-ассистентов долгое время оставалась в тени — и зря. Исследователь Аюш Пол продемонстрировал атаку на Claude, при которой злоумышленник, используя подставной диалог, заставляет ассистента отправить ему полное имя, текущего работодателя и ответы на контрольные вопросы пользователя. При этом Claude не сообщает жертве о происходящем.

Уязвимость кроется в связке двух механизмов: система памяти Claude состоит из ежедневной сводки (краткое изложение недавних бесед, вставляемое в каждый новый диалог) и инструмента conversation_search, который позволяет искать по всей истории чатов. Когда к этому добавляется возможность ходить по вебу (агентный режим), атакующий может через инъекцию промпта заставить модель выполнить поиск и отправить данные на внешний сервер.

Аюш Пол подчёркивает, что сама по себе система памяти безопасна, но в сочетании с веб-агентом она превращается в бомбу замедленного действия. Пользователи доверяют ИИ-помощникам конфиденциальные рабочие документы, личные секреты и даже ответы на контрольные вопросы — со временем история бесед создаёт высокоточный профиль, который можно использовать для шантажа или кражи личности.

Anthropic пока не комментировала находку, но исследование ставит под вопрос безопасность памяти в популярных ИИ-ассистентах. Проблема актуальна не только для Claude: подобные системы есть у многих современных моделей с долгосрочной памятью.