Decision 3.0: открытые модели от vLLM Semantic Router возвращают вероятности, а не текст

Команда vLLM Semantic Router выпустила Decision 3.0 — семейство открытых моделей для классификации, роутинга и гардрейлов. Вместо генерации текста модели принимают состояние (текст или JSON) и дополнительные изображения, а затем отвечают на именованные вопросы, возвращая вероятность для каждого варианта (Choice, Yes/No или Score). Всего пять размеров: d3-lite (0,85B), d3-nano (2,21B), d3-mini (4,54B), d3-flash (8,39B) и d3 (26,09B) — все под лицензией Apache-2.0.

Модели построены на базе Qwen: старшая — Qwen3.8-27B, младшие — на чекпоинтах Qwen3.5 (0.8B, 2B, 4B, 9B). Каждая несёт vision-энкодер размером от 0.10B до 0.46B, который обрабатывает до 1.6 мегапикселя на изображение. Все вопросы получают общий контекст, но каждый обрабатывается отдельным прямым проходом. Веса — BF16, официальных квантизаций нет. Для работы нужны transformers==5.17.0 и trust_remote_code=True, опционально — flash-linear-attention для ускорения.

По бенчмаркам Jev Decision Index 0.3.1 (внутренняя оценка команды) d3 набирает 64.1 на тексте и 71.6 на vision, обходя Perplexity Decider v1.1 (62.8 и 70.6) и Jev (60.1). Torchcast Decision 27B показывает чуть выше на публичном сете — 65.1 против 64.9 у d3. Самый интересный результат: d3-flash (9B) даёт 59.0 и обходит прошлую 27B-модель Decision 2.0 (55.9). Прирост к Decision 2.0 — от +8.0 до +15.1 по размерам.

На публичных задачах d3 демонстрирует 97.3 на InfographicVQA и 89.9 на Mind2Web, но слабее на MMMU-Pro (46.2) и Hateful Memes (44.6). Из пяти моделей d3-mini и d3-flash лидируют в своих весовых категориях и по тексту, и по vision, а d3-lite на vision третий (41.1 против 42.1 у JPT-0.8B), d3-nano отстаёт от LiquidAI d1-3B на тексте (35.8 против 40.1). Замеры латентности делались на одном AMD Instinct MI325X.