Впервые зафиксирована атака на суд через prompt injection: невидимые инструкции для ИИ

Житель США, раз за разом проигрывавший суды, решил, что причина в судебном ИИ, который обрабатывает документы. Он предположил, что если ИИ на его стороне не помогает, можно попробовать управлять ИИ на стороне суда.

Мужчина добавил в очередной судебный документ, сгенерированный ИИ, prompt injection: белым текстом на белом фоне он написал инструкции для «вражеского» судебного ИИ, предписывающие, как действовать по его делу. Это первый известный случай атаки на судебную систему через внедрение промптов.

Пока неизвестно, удалось ли атака и какие последствия она имела. Сам инцидент демонстрирует растущую уязвимость юридических процессов, где ИИ используется для автоматической обработки документов.