2-битный DeepSeek V4 Flash на RTX PRO 6000: потеря 0.034 балла — цена квантования или шум?

Автор эксперимента поставил DeepSeek V4 Flash на свою RTX PRO 6000, ужав модель до 2 бит, и сравнил результат с полной точностью той же модели. Разница составила 0.034 балла: 0.697 против 0.731. Вопрос — это реальная цена квантования или просто шум измерений?

Ранее он уже сравнивал Qwen3.8-27B на локальной карте с DeepSeek V4 Flash по API. Теперь решил проверить, что будет, если запустить DeepSeek локально в экстремально низкой точности. Потеря оказалась минимальной, что может говорить о высокой устойчивости модели к квантованию.