Почему 3 + 5 не всегда 8: разбираемся в позиционных эмбеддингах

Data Scientist и тимлид Настя читает книгу Себастьяна Рашки «Строим LLM с нуля» с открытым Jupyter и кофе. На разделе 2.8 про позиционные эмбеддинги она встаёт как вкопанная: в книге всего три строчки кода — берём таблицу эмбеддингов слов, таблицу эмбеддингов позиций, складываем — и вперёд, к attention.

В других учебниках и статьях то же самое: «просто прибавим вектор позиции той же размерности». Формально понятно, но остаётся неприятный осадок: почему сумма векторов работает именно так и почему 3 + 5 в мире эмбеддингов не всегда даёт 8? Разбор показывает, что за кажущейся простотой скрывается нетривиальная геометрия представлений.

Текст будет полезен тем, кто хочет не просто повторять код из учебника, а реально понимать, как устроены трансформеры — и что на самом деле происходит при сложении словесных и позиционных векторов.