Zyphra выпустила Zamba2-VL: гибридные модели с Mamba2 и Transformer, которые выдают первый токен в 10 раз быстрее

Zyphra выпустила Zamba2-VL — семейство open‑source vision-language моделей (VLM) трёх размеров: 1,2 млрд, 2,7 млрд и 7 млрд параметров. В отличие от типичных VLM, которые целиком строятся на плотном Transformer, Zamba2 использует гибридный backbone — чередует линейные слои Mamba2 (state‑space model) с небольшим числом общих Transformer‑блоков. Такая конструкция позволяет почти полностью отказаться от растущего кэша KV‑внимания, ускоряя инференс при сохранении качества.

Каждая модель собрана по LLaVA‑подобному шаблону: кодировщик изображений (Qwen2.5‑VL с 2D‑позиционными эмбеддингами и динамическим разрешением) выдаёт признаки, адаптер из двух MLP‑слоёв проецирует их в пространство языковой модели, а та обрабатывает перемешанную последовательность визуальных и текстовых токенов. На этапе префилла на 32 тыс. токенов Zamba2‑VL достигает такого же или лучшего score, чем конкуренты, но с задержкой до первого токена (TTFT) на порядок меньше.

На бенчмарках модель показывает сильные результаты в задачах подсчёта (PixMoCount: 82,5 у версии 2,7B против 32,8 у InternVL3.5‑2B) и понимании документов (DocVQA 90,9 у 2,7B). На знаниеёмких тестах типа MMMU или MathVista она уступает более крупным моделям (Qwen3‑VL, InternVL3.5), но в сценариях, где важна скорость — on‑device, edge, работа с видео и сценами высокого разрешения — Zamba2‑VL может стать практичным выбором.

Модели выложены, судя по сайту компании, но конкретные веса и лицензии пока не уточняются. Главная инновация — архитектурный компромисс: Linear‑time Mamba2 несёт основную вычислительную нагрузку, а редкие shared attention блоки с LoRA‑адаптерами сохраняют способность искать информацию в длинном контексте, которую чистые SSM теряют.