Underdog Saluki 27B: двухбитная версия Qwen, сохраняющая вызов инструментов, размером 7.9 ГБ

Underdog Saluki 27B — это сборка модели Qwen3.8-27B, сжатая до ~2 бит на параметр. Размер файла составляет 7.9 ГБ, что примерно в 7 раз меньше оригинальных 54 ГБ. Разработчики утверждают, что в процессе квантизации удалось сохранить целостность механизма вызова инструментов (tool calling), и на собственном бенчмарке из 120 задач Saluki даже обгоняет полную модель.

Сборка построена поверх квантизации ISTA-DASLab GSQ-RCO. Авторы предлагают сравнить оба файла в llama.cpp, провести анализ заголовков GGUF и оценить результаты на одном и том же наборе задач из Berkeley Function Calling Leaderboard, используя официальный проверочный код BFCL.

Для воспроизведения достаточно скачать модель с Hugging Face (репозиторий ConwayResearch) и запустить её на одном GPU — например, на T4 в Colab или на Mac с Apple Silicon. Инструкция включает подробный скрипт для сборки llama.cpp, загрузки файлов и прогона тестов.