Шум в эмбеддингах не защищает данные: 90% документов восстанавливаются по 100 парам

Автор эксперимента смоделировал атаку на базу эмбеддингов, защищённую шумом. В основном сценарии атакующий знал 1000 из 5183 пар «документ — эмбеддинг» (около 19% корпуса). При таком объёме удавалось идентифицировать 99% записей, даже когда качество поиска падало вдвое.

Даже при снижении известных пар до 100 (2% корпуса) точность восстановления составила около 90%. Все 8 протестированных схем добавления шума показали уязвимость: шум не скрывает принадлежность эмбеддинга к документу, если у атакующего есть хотя бы небольшое количество размеченных примеров.

Вывод: полагаться на шум как на метод защиты данных в эмбеддингах опасно. Для реальной безопасности необходимы другие подходы — например, дифференциальная приватность или шифрование. Исследование подчёркивает, что «зашумлённые» эмбеддинги не являются анонимными.