RTX PRO 6000 BSE против H100 NVL: как NVFP4 меняет расклад в инференсе

NVIDIA RTX PRO 6000 Blackwell Server Edition поддерживает NVFP4 — четырёхбитный формат с двухуровневым масштабированием, анонсированный в 2025 году. Чтобы понять, насколько он оправдан в реальных задачах, инженер YADRO Алексей провёл тесты: четыре карты нового поколения против восьми H100 NVL. Модели — Qwen3.6-27B, Qwen3.6-35B-A3B (MoE) и DeepSeek-V4-Flash — запускались через vLLM в offline и server-режимах.

Результаты показали, что на Dense-моделях RTX PRO 6000 BSE с NVFP4 может быть быстрее H100 NVL в несколько раз, особенно при высокой нагрузке. На MoE-архитектурах разница меньше, а на H100 в FP8 плотные модели порой дают большую пропускную способность. DeepSeek-V4-Flash во встроенном Mixed FP4 на H100 неожиданно обходит ту же модель на RTX PRO 6000 во всех сценариях.

Выбор ускорителя сильно зависит от конкретной модели и квантизации. NVFP4 — мощный инструмент, но не панацея: для одних задач выгоднее четыре карты Blackwell, для других — восемь H100 NVL. Полные цифры и графики — в исходной статье.