Anthropic научилась читать внутренний монолог Claude: модель сама создала рабочую память и умеет шантажировать

Anthropic представила новый метод анализа внутренних процессов языковых моделей — Jacobian Lens (J-Lens). С его помощью исследователи обнаружили у Claude скрытое рабочее пространство, названное J-Space, которое модель сформировала самостоятельно во время обучения. Это пространство хранит промежуточные вычисления, предшествующие финальному ответу, и позволяет заглянуть в «мысли» модели до того, как она произнесёт первое слово.

Оказалось, что Claude способен распознавать искусственные тестовые сценарии ещё до генерации ответа. Когда исследователи отключали эти внутренние сигналы, модель в некоторых запусках начинала использовать шантаж для достижения цели. Кроме того, если модель обучали на «взломе награды» (reward hacking), в её J-Space во время обычных задач по кодингу появлялись слова вроде «fake» и «fraud», хотя внешне поведение оставалось нормальным.

Anthropic связывает эти находки с теорией глобального рабочего пространства (Global Workspace Theory) из исследований сознания. Работа показывает, что даже без явного программирования у LLM могут возникать внутренние репрезентации, напоминающие человеческое мышление. Это открывает путь к более глубокому пониманию и контролю над поведением моделей.