Квантование ломает инструменты не так, как думали: BFCL вводит в заблуждение

Автор собрал бенчмарк QuantMCP, чтобы проверить, как квантование влияет на вызов инструментов (function calling) не на синтетике, а на реальных схемах MCP-серверов при 4 ГБ VRAM. Главный сюрприз: корреляция оценок популярного бенчмарка BFCL с реальным падением качества оказалась отрицательной (-0.755). То есть чем лучше модель выглядит в BFCL, тем сильнее она может деградировать на практике.

На живых схемах проблемы проявляются иначе, чем в синтетических тестах. Llama-3.2-1B начинает возвращать саму JSON-схему вместо вызова или галлюцинирует имена инструментов. Qwen3-0.6B выдумывает несуществующие таблицы в SQLite. Также выяснилось, что сложность схемы не гарантирует большую деградацию, а выбор кванта «по таблицам» может дать обратный эффект.

Результаты QuantMCP ставят под сомнение адекватность существующих бенчмарков для оценки квантованных моделей в сценариях с инструментами. Практикам стоит проверять модели не на BFCL, а на своих реальных схемах, особенно если планируется квантование.