Где LLM хранит правила Dune: Imperium: разбираем механизмы памяти трансформеров

Автор этого материала опоздал на вечер настолок и попросил голосового ассистента Astra напомнить правила Dune: Imperium. Помощник справился, и это натолкнуло на вопрос: как модели удерживают в голове столько разрозненных фактов и насколько велика их память?

В статье разбираются три типа памяти: линейные отображения, MLP и самовнимание. Каждый механизм описан простым языком, без сложных формул, — и для каждого показано, сколько информации он способен хранить.

На основе этого автор выводит эвристики, которые позволяют примерно оценить объём памяти в каждом слое трансформера. Материал будет полезен тем, кто хочет лучше понять, как устроены современные LLM изнутри.