FlashMap ускоряет Qwen3-8B в 6,14 раза: драфтер рисует блок токенов за один проход

FlashMap — это драфтер для спекулятивного декодирования: маленькая модель набрасывает черновик из 16 токенов, а целевая LLM проверяет весь блок параллельно и оставляет самый длинный совпадающий префикс. В отличие от DFlash, который предсказывает каждый слот блока независимо и потому часто ошибается в комбинациях вроде «New York» и «San Diego», FlashMap отображает шум сразу на целый согласованный блок. Авторы называют это совместным выбором модальностей для всех позиций.

Драфтер для Qwen3-8B имеет 0,5 млрд параметров, для Qwen3-4B — 475 млн. Архитектура — диффузионный трансформер на 6 блоков с размерностью эмбеддингов 2048 и 16 головами внимания. Он читает скрытые состояния целевых слоёв 1, 9, 17, 25 и 33, а матрицу эмбеддингов и языковую голову берёт из целевой модели и замораживает. Обучение проходит в два этапа: сначала flow teacher учится на непрерывном потоке one-hot блоков, затем flow map student с помощью дистилляции превращает поток в одношаговый денойзер. Данные — 500 тысяч примеров из Open-PerfectBlend, суммарно около 4600 GPU-часов на H200.

На Qwen3-8B FlashMap показал себя самым быстрым из протестированных драфтеров: в среднем примерно на 7% лучше переобученного DFlash. Максимум — 6,14x на GSM8K при температуре 0 со средней длиной принятой последовательности 7,69 токена, минимум — 2,28x на Alpaca при температуре 1. На Qwen3-4B драфтер уже уступает DFlash на четырёх задачах из девяти. Работает FlashMap на той же GPU, что и целевая модель; тесты шли на одной NVIDIA H200 NVL в bf16. Веса для Qwen3-8B и Qwen3-4B выложены на Hugging Face, есть плагины для vLLM и SGLang.