В LLM нашли нейронные корреляты «знакомо», «истинно» и «не могу ответить»

Теория LLM-бесед как лумановских операционных систем получила новое экспериментальное подкрепление. Исследователи проанализировали данные сторонних работ по пространствам активаций и нашли корреляты для целого ряда эпистемных категорий: «знакомо», «незнакомо», «истинно», «ответ известен», «не могу ответить», а также правдивости, угодливости и семантической энтропии.

Оказалось, что эти категории действительно представлены в активациях LLM, часто в виде осей или направлений. Более того, некоторые из них влияют на то, как разворачивается беседа — то есть на траекторию проекции разговора в пространстве активаций. Это значит, что модель не просто генерирует текст, а в каком-то смысле «знает», знаком ли ей вопрос, может ли она ответить и насколько правдив будет ответ.

На основе этих данных авторы уточнили состав эпистемного класса так называемого и-слоя LLM — среды развертывания таких систем. Работа показывает, что внутренние представления LLM можно интерпретировать в терминах эпистемических состояний, что открывает путь к более глубокому пониманию и контролю над поведением моделей.