Студенты ВШЭ и VK проверили, может ли линейное внимание догнать обычный трансформер

Команда студентов мастерской по сервисам и платформам ИИ НИУ ВШЭ и VK — Павел Алексеев, Александр Рожкин, Андрей Аргаткин, Алексей Павлов и Матвей Каменев — занялась проблемой линейного внимания. Этот механизм позволяет обрабатывать длинные последовательности без квадратичного роста вычислительных затрат, что экономит память при генерации текста: вместо растущего KV-cache можно хранить состояние фиксированного размера.

За основу взяли архитектуру Dense Attention, которая использует простые матричные операции без softmax и показывает высокое качество в опубликованных экспериментах. Гипотеза исследователей: линейные модели отстают не только из-за замены softmax, но и из-за неподходящих архитектурных настроек — числа голов, позиционного кодирования и схемы слоёв, которые оптимизированы для обычного трансформера.

В проекте проверяют, сократят ли разрыв изменение этих компонентов и MLM-предобучение, не возвращаясь к глобальному softmax-вниманию. Если гипотеза подтвердится, это сделает линейное внимание более практичным для экономного обучения языковых моделей и обработки длинных документов.