Qwen 4: раннее архитектурное превью — GDN, QSA и 51B N-gram эмбеддинги

Qwen 4 — это не очередное минорное обновление, а архитектурное превью, которое меняет подход к обработке контекста в трансформерах. Разработчики внедрили три ключевых нововведения: GDN + QSA (блоки внимания с разреженным доступом), Gated Residual (управляемые остаточные связи) и 51-миллиардные N-граммные эмбеддинги для более точного представления последовательностей.

Основная цель Qwen 4 — сократить расход памяти и вычислительных ресурсов при работе с длинным контекстом. В статье сравниваются бенчмарки новой архитектуры с популярной плотной моделью Qwen 3.8 27B, а также даётся инструкция для локального запуска превью.