Маленькая Qwen3-0.6B переживает квантование лучше, чем Llama-3.2-1B: новый бенчмарк QuantCall

Автор создал бенчмарк QuantCall для оценки деградации function-calling у LLM при квантовании. Тесты проводились на 4 ГБ VRAM, что актуально для локального запуска моделей.

Главный вывод: устойчивость к квантованию определяется семейством модели, а не её размером. Qwen3-0.6B (всего 0,6 млрд параметров) стабильно генерирует корректный JSON даже на уровне Q4, тогда как более крупная Llama-3.2-1B начинает ошибаться уже на Q8 — путает типы данных.

Также выяснилось, что GBNF-грамматики не предотвращают ошибки, но при этом заметно замедляют инференс. Это практический инсайт для тех, кто хочет запускать модели с function-calling на ограниченном железе.