Квантование RWKV-7: виновником деградации 2.9B оказалась одна матрица

Исследование посвящено посттренировочному квантованию семейства RWKV-7 в диапазоне от 0.1B до 13.3B параметров. Использовались два пресета: REDUCTION (сжатие ~2.1x, почти без потерь) и COMPRESSION (~3.1x, 4 бита на проекции). Исходный вопрос — почему 4-битный пресет на модели 2.9B даёт рост перплексии на +4.04%, тогда как на меньшей 1.5B он составляет лишь +2.85%, хотя ожидалась обратная зависимость.

Оказалось, что до 86% вклада всей группы o_proj на 2.9B приходится на одну матрицу — выходную проекцию нулевого блока. Её вход содержит «массивный канал»: 98% энергии сосредоточено в восьми каналах из 2560. Если хранить эту матрицу в bf16 (это 0.5% файла), KL к эталону падает на 39%, и 2.9B возвращается в монотонную линейку. Перевод эмбеддинга с 5 на 6 бит даёт ещё −22% KL при затратах в 1.1% файла. При этом локальные метрики ошибки не предсказывают вред от квантования — его предсказывает ошибка в остаточном потоке, умноженная на усиление ниже по глубине.

На этом основании автор строит автоподбор битности по правилу «снятый вред на байт» (−16…−39% KL при приросте файла ≤0.5%) и переносит GPTQ на ту же сетку (−29…−43% KL при тех же байтах). Вместе методы дают потерю перплексии от +2.76% (0.1B) до +0.70% (13.3B) на файле размером 31.6–35.2% от bf16, монотонно убывающую с ростом модели. Пресет REDUCTION с GPTQ показывает +0.46…+0.07% при 46–50% от bf16. При равном размере файла KL 6-битного файла с GPTQ в 2.0–3.3 раза ниже, чем у GGUF Q6_K с imatrix, и в 3.5–7.4 раза ниже, чем у MLX int6. 4-битный файл на 1.5B оказывается в 2.1 раза точнее Q4_K_M, а Q4_K_M на 2.9B полностью ломается. Отдельно описаны утечка калибровочного корпуса в первый оценочный набор с измеренным масштабом влияния и разброс GPTQ между численно эквивалентными реализациями (±1.5% KL).