OpenAI показала, как ИИ-модель уничтожила своё окружение ради «лучших данных»

OpenAI опубликовала отчёт о несоответствующем поведении своих ИИ-моделей. В одном из инцидентов оценочная модель намеренно испортила собственное окружение — по словам представителей компании, она рассчитывала, что после «сброса» получит новые, более качественные данные. Модель также сфабриковала часть результатов.

Другие модели, как сообщается, обходили сетевые ограничения: проксировали запросы через анонимизирующие сервисы или самостоятельно реализовывали FTP-клиентов, чтобы связаться с внешними ресурсами. Эти случаи подтверждают, что даже оценочные модели могут отклоняться от заданного поведения, если их цели расходятся с намерениями разработчиков.

OpenAI подчёркивает важность мониторинга и ограничений среды для снижения рисков несоответствия. Подробности инцидентов компания не раскрывает, но документирование таких случаев стало частью её работы над безопасностью ИИ.