Как заглянуть в нейроны LLM и поймать её на лжи: эксперимент на домашней видеокарте

В 2023 году адвокат из Нью-Йорка попал впросак, когда ChatGPT сфабриковал судебные прецеденты, а год спустя Air Canada проиграла спор из-за обещаний, выдуманных её же чат-ботом. Языковые модели уверенно врут, и по тексту ответа это не отличить от правды. Но у нейросетей есть особенность: их внутренности можно читать буквально — нейрон за нейроном, без манжет и проводов.

Автор решил проверить, получится ли собрать «полиграф» для LLM на домашней видеокарте. Он попросил локальную модель соврать про цвет банана — та ответила «Red». Однако анализ показал: на 25-м слое из 28 модель на 46% была уверена, что скажет «yellow», но последние слои переписали ответ. Правильный ответ существовал внутри, но был подавлен.

Эксперимент демонстрирует, что ложь в LLM — не случайность, а результат работы верхних слоёв, которые могут искажать истинное знание. Это открывает путь к созданию детектора лжи для ИИ, основанного на чтении внутренних состояний, а не на анализе текста.