Эйфелеву башню «переместили» в Рим: точечное редактирование весов LLM меняет факты без переобучения

Вдохновившись сценой из «Матрицы», где Нео мгновенно осваивает кунг-фу, исследователи решили провернуть похожий трюк с языковой моделью. Вместо боевых навыков они взяли простой факт: «Эйфелева башня находится в Париже». Цель — заменить Париж на Рим в памяти GPT-2 XL, не переобучая всю сеть.

Для этого использовали метод ROME (Rank-One Model Editing) — технику точечного редактирования весов, которая меняет конкретные знания в LLM. После правки модели задали тот же вопрос в разных формулировках, проверили, не затронуты ли другие факты об Эйфелевой башне, а затем вернули исходные веса. Эксперимент наглядно демонстрирует, как можно «перемещать» факты внутри нейросети без глобального переобучения.