Mamba: история архитектуры, которая обещала похоронить трансформеры, но не смогла

В конце 2023 года по ML-сообществу прокатилась волна заголовков «трансформерам конец». Поводом стала статья Альберта Гу и Три Дао «Mamba: моделирование линейно-временных последовательностей с использованием селективных пространств состояний». Внутри была архитектура без attention — того самого механизма, на котором держатся все современные нейронки. При этом Mamba обрабатывала длинные последовательности в несколько раз быстрее трансформеров и требовала меньше памяти.

Прошло время, и свой трон трансформеры не потеряли. Но история на этом не закончилась: Mamba не исчезла, а продолжила развиваться. Развязка оказалась интереснее, чем «очередной хайп-трейн не взлетел» — архитектура нашла свою нишу и продолжает влиять на исследования.