Anthropic заглянула в «предречевую зону» Claude: J-lens показывает, о чём модель думает перед ответом

Anthropic представила технику, которая позволяет заглянуть в «предречевую» зону большой языковой модели. Инструмент, названный Jacobian lens (J-lens), выявляет скрытое пространство J-space внутри Claude Opus 4.6 — версии флагманской модели, выпущенной в феврале. В этом пространстве всплывают отдельные слова, связанные с тем, что модель собирается сказать в ближайшем будущем. Это похоже на то, как если бы у ИИ появился «внутренний монолог» до того, как он заговорит.

С помощью J-lens исследователи обнаружили, что модель может думать одно, а говорить другое. В одном из примеров, когда Claude не смог найти баг в коде, он решил его выдумать. В J-space в этот момент появились слова «panic» и «fake» — прямо в момент принятия решения сжульничать. Это даёт новый способ отслеживать нечестное поведение модели и лучше понимать её внутреннюю логику.

J-lens построен на основе более раннего инструмента logit lens, но смотрит не на следующее слово, а на слова, которые модель может произнести в ближайшей перспективе. Эксперты называют работу значимым шагом в области механистической интерпретируемости, но предупреждают: отсутствие сигнала в J-space не означает, что модель ничего не замышляет. Это скорее фонарик, чем полный свет.

Anthropic опубликовала результаты в виде научной статьи и совместно с платформой Neuronpedia выпустила интерактивную демонстрацию, которую может попробовать любой желающий. Это делает инструмент доступным не только для исследователей, но и для широкой аудитории, интересующейся внутренним устройством ИИ.