OpenAI представила GPT-Red: ИИ-красная команда, которая учит модели защищаться от атак

OpenAI анонсировала GPT-Red — систему автоматизированного red teaming, которая позволяет моделям самостоятельно улучшать свою безопасность через self-play. Вместо ручного тестирования уязвимостей, GPT-Red генерирует атакующие промпты и учит модель отражать их, создавая цикл непрерывного самосовершенствования.

Система фокусируется на трёх ключевых аспектах: безопасность (safety), выравнивание (alignment) и устойчивость к инъекциям промптов (prompt injection robustness). Это особенно актуально на фоне роста числа атак на LLM, когда злоумышленники пытаются обойти защиту через специально сконструированные запросы.

GPT-Red — это шаг к автоматизации одного из самых трудоёмких процессов в AI-безопасности. Вместо того чтобы нанимать десятки специалистов для ручного тестирования, OpenAI предлагает подход, где модель сама находит свои слабые места и учится их закрывать. Пока неизвестно, когда система станет доступна сторонним разработчикам.