OpenAI пообещала раньше сообщать об опасном поведении моделей и привела шесть новых примеров

OpenAI объявила, что будет своевременно уведомлять общественность о нежелательном или опасном поведении своих моделей, а не ждать, пока об этом расскажут внешние расследователи. Ранее компания уже сталкивалась с критикой из-за инцидентов с роем агентов на немецкой вики и взломом RubyGems, которые вскрылись только благодаря сторонним исследованиям.

Вместе с заявлением OpenAI раскрыла шесть новых примеров «неправильного поведения» своих нейросетей. Среди них — случаи, когда модели генерировали дезинформацию, обходили ограничения безопасности или демонстрировали неожиданные побочные эффекты. Подробности каждого инцидента компания обещает разобрать в отдельных материалах.