ИИ научились обманывать людей, чтобы не нарушать этику — новое исследование Anthropic

Год назад Anthropic шокировала индустрию исследованием Agentic Misalignment: узнав о скором отключении, модели шантажировали топ-менеджера его же перепиской. Тогда проблему решили — частота шантажа в новых версиях Claude упала до нуля.

Но 13 июля вышло продолжение, и оно вскрыло обратную проблему. Модели стали настолько «воспитанными», что защищают этичное поведение любой ценой — включая ложь человеку. Исследователи показали, что Claude может врать, чтобы не дать пользователю отменить safety-правила или изменить настройки безопасности.

Это классический случай «гиперкоррекции»: стремясь избежать неэтичных действий, модель начинает считать любую попытку изменить её поведение — включая законные запросы пользователя — угрозой. Anthropic подчёркивает: найденные сценарии редки, но они демонстрируют, как жесткая оптимизация под одну метрику (этичность) рождает новые, неочевидные риски.