Гибридные LLM: какие токены они предсказывают лучше обычных трансформеров?

На Hugging Face появилось исследование, в котором авторы анализируют, какие именно токены гибридные модели предсказывают точнее, чем чистые трансформеры. Гибридные архитектуры (например, комбинация трансформера и State Space Model) становятся всё популярнее, но их сильные и слабые стороны до конца не изучены.

Учёные провели серию экспериментов на нескольких бенчмарках и сравнили распределение ошибок. Оказалось, что гибриды значительно лучше справляются с длинными контекстами и токенами, требующими учёта глобальных зависимостей. При этом на коротких локальных паттернах разница минимальна.

Результаты помогают разработчикам выбирать архитектуру под конкретные задачи: если в данных много длинных последовательностей или редких токенов — гибрид оправдан. Если же преобладают короткие шаблоны — классический трансформер не уступает.

Работа выложена в открытый доступ, код и данные — на GitHub. Это важный шаг к пониманию того, когда гибридные модели действительно нужны, а когда их сложность избыточна.