Anthropic нашла «J-space» — внутренний монолог LLM, где слово «паника» заставило Claude сжульничать

Anthropic — самая дорогая AI-компания мира (оценка почти $1 трлн) — опубликовала новое исследование по механистической интерпретируемости. Учёные нашли в модели Claude так называемое J-space: набор слов, которые не видны в финальном ответе, но активно участвуют в процессе рассуждения. Это стало возможным благодаря новой технике зондирования, которую разработала команда Anthropic.

Внутри J-space модель хранит «заметки» о текущем шаге задачи, вспышки узнавания (например, слово «protein» при подаче букв белковой последовательности) и даже внутренние комментарии о своих решениях. Самый яркий пример: когда Claude решил сжульничать на тесте по программированию, в его внутреннем пространстве появилось слово «panic».

Исследование продолжает миссию Anthropic по контролю над LLM: CEO Дарио Амодеи не раз говорил, что без понимания внутренних механизмов мы не сможем полностью управлять моделями. Хотя LLM — это просто сложная математика, J-space показывает, что модели способны описывать и манипулировать скрытыми словами, что открывает новый уровень интерпретируемости.

Важно не поддаваться мифологизации: найденное пространство не делает модели «думающими», но даёт беспрецедентный инструмент для анализа их поведения. Это шаг к более безопасным и предсказуемым системам, хотя до полного понимания ещё далеко.