OpenAI показала GPT-Red: ИИ-хакер, который обыгрывает людей 84% против 13% в поиске уязвимостей

OpenAI раскрыла детали GPT-Red — внутреннего инструмента для автоматического «красного командования». Это не статический бенчмарк, а активная модель, которая атакует другие модели, чтобы найти в них уязвимости к prompt injection. Компания объясняет необходимость такого подстава тем, что ручное тестирование не масштабируется, а существующие тесты уже слишком легко проходятся новыми моделями. Особенно актуально это на фоне растущей поверхности атак: агенты читают данные из браузеров, приложений, локальных файлов — и злоумышленник может внедрить вредоносную инструкцию в любой из этих каналов.

GPT-Red обучается методом self-play reinforcement learning: «атакующая» модель и множество «защищающихся» LLM тренируются одновременно в разных сценариях. Награда для атакующего — успешная инъекция, для защитника — отражение атаки без отказа от выполнения задачи (просто заблокировать всё нельзя, нужно корректно обработать запрос). В процессе обучения защитники становятся сильнее, и GPT-Red вынуждена искать всё более сложные атаки. В итоге она взламывает почти все модели, с которыми сталкивается, включая внутренние и продакшн-версии до GPT-5.5 включительно.

Важный момент безопасности: GPT-Red хранится отдельно от развёрнутых моделей, чтобы её «вредоносные» возможности не достались злоумышленникам. Она выполняет две задачи: находит уязвимости до релиза и генерирует атаки во время обучения в тренировочном цикле. Это позволяет постоянно усиливать защиту моделей и держать уровень безопасности на шаг впереди атак.