OpenAI создала ИИ-хакера GPT-Red: он взламывает другие модели, чтобы сделать их безопаснее

OpenAI разработала GPT-Red — специализированную языковую модель, которая автоматизирует «красную команду» (red-teaming): стресс-тестирование других ИИ-систем на уязвимости. По мере усложнения моделей и их превращения в агентов, взаимодействующих с файлами, сайтами и сторонним кодом, человеческие тестировщики перестают успевать за всеми возможными атаками. GPT-Red призван закрыть этот пробел.

Обучение проходило в режиме самоподкрепления (self-play): GPT-Red атаковал другие модели, а те защищались. В ходе тренировок он превзошёл людей по эффективности поиска атак и даже обнаружил ранее неизвестный тип уязвимости — «ложную цепочку рассуждений» (fake chain of thought). В итоге его использование помогло сократить число успешных атак на GPT-5.6, которую OpenAI называет своей самой защищённой моделью.

Однако GPT-Red не универсален: он пока плохо справляется с атаками в диалогах и с изображениями — там по-прежнему необходимы люди. Тем не менее, подход OpenAI закладывает основу для автоматизированного тестирования безопасности будущих, ещё более мощных моделей.