Скалярное произведение, которое изменило всё: как простая операция из линейной алгебры породила эру трансформеров

В 2017 году исследователи Google опубликовали статью «Attention is All You Need» — без помпы и человекоподобных роботов. Но именно она разделила индустрию ИИ на «до» и «после». Сегодня на трансформерах работают ChatGPT, Claude, Gemini, Midjourney и практически весь генеративный ИИ.

Основа революции — не сложная логика вывода и не биологически правдоподобная модель мозга, а одна из простейших операций линейной алгебры: скалярное произведение векторов. Обычное перемножение чисел с последующим сложением. Именно оно позволило нейросетям преодолеть стену, в которую упёрлись старые архитектуры.

Почему именно эта операция оказалась настолько мощной? Ответ кроется в том, как трансформеры научились эффективно обрабатывать контекст — но это уже тема для отдельного разбора.