Saluki 27B: 2-битная версия Qwen3.8-27B обходит оригинал в вызове инструментов

Underdog, ассистент для устройств от Conway Research, представил Saluki 27B под лицензией Apache 2.0. Это 2-битный GGUF-файл Qwen3.8-27B, который весит всего 7,89 ГБ — против 54 ГБ у полной BF16-версии. Сжатие настроено так, чтобы сохранить способность вызывать инструменты (tool calling), превращающую чат-модель в агента. Разработчики получают 27B-модель, работающую в стандартном llama.cpp с полным выгрузом на GPU. Также доступен опциональный визуальный модуль на 629 или 928 МБ.

По тестам Saluki удерживает в среднем 96% качества на девяти бенчмарках. Главный прорыв — параллельный вызов инструментов: 42 успешных вызова против 35 у полной модели (120% сохранения). Хуже всего модель показала себя в математике AIME 2025 — 79,2 против 96,7 (около 82% сохранения). На SWE-bench Verified (50 задач) Saluki исправил 30, полная модель — 33. В собственном бенчмарке Underdog Bench (120 задач из BFCL v4) Saluki набрал 88 баллов, оригинал — 84, а Bonsai 2 от PrismML — 70.

Технически Saluki построен в три слоя: основа — Qwen3.8-27B (64 слоя, смешанное внимание Gated DeltaNet, нативный контекст 262 144 токена); второй слой — квантизация от ISTA-DASLab (GSQ + RCO, их самый маленький файл IQ2_XS — 8,4 ГБ); третий — собственная оптимизация Underdog, ужавшая файл до 7,89 ГБ и целенаправленно усилившая вызов инструментов. Полный рецепт этого прохода не опубликован. Файл называется IQ2-mix с тегом imatrix.