«Защиту GPT-6 обошли транслитом»: зачем LLM нужны Guardrails

Автор из Selectel начинает с наглядного примера: защиту гипотетической GPT-6 Astra обходят обычным транслитом. Ранние LLM действительно ломались даже на таких уловках, ведь модель не знает, кто перед ней — обычный пользователь или злоумышленник, и старается выполнить любую задачу.

Доверчивость моделей оборачивается проблемой: достаточно немного изменить формулировку или контекст запроса, чтобы получить нежелательный ответ. Атаки показали, что защита, которая не умеет анализировать запрос и читать между строк, обречена.

Поэтому нужны механизмы вроде Guardrails: они удерживают модель в рамках, блокируют инъекции, а если вредоносный запрос проскочил — не дают ему сработать. В статье подробно разбирается, как устроена такая защита.