Гибридные трансформеры не так хороши: тест Gated DeltaNet показал слабые места против full attention

Гибридные модели обещают, что память под контекст перестаёт расти линейно с его длиной — длинный контекст дешевеет, на ту же карту влезает больше пользователей. Звучит разумно, но на практике всё не так гладко.

Автор решил проверить, где Gated DeltaNet проигрывает full attention под нагрузкой. Тест показал, что в некоторых сценариях гибридный подход уступает классическому вниманию по качеству или скорости.

Полные результаты и детали эксперимента — в оригинальной статье на Habr.