Qwen3.6 на 109 ток/с через PCIe Gen2 x4: MoE-модель 35B переиграла две видеокарты

Энтузиаст протестировал модель Qwen3.6 на материнской плате B450-Plus, где второй слот ограничен PCIe Gen2 x4. В связке с RTX 5080 и RTX 3060 модель выдала 109 токенов в секунду — результат, который обычно ждут от более дорогих конфигураций.

Секрет — в архитектуре Mixture of Experts (MoE): она активирует лишь часть параметров на каждом шаге, что позволяет эффективно распределять нагрузку между картами и обходить узкое место шины. Этот тест показывает: для локального запуска больших моделей комбинация двух скромных GPU может быть практичнее одной флагманской.