KV-кэш через InfiniBand: тест disaggregated inference на B200 с MiniMax-M3 показал 268 прогонов

Disaggregated inference разделяет prefill и decode на разные GPU-узлы, и транспорт KV-кэша становится узким местом. В тесте на двух узлах с восемью NVIDIA B200 на каждом сравнивали RDMA/InfiniBand с GPUDirect и TCP/Ethernet при инференсе модели MiniMax-M3 через sglang.

Эксперимент включал четыре уровня: потолок фабрики (L0), изолированный microbenchmark transfer engine (L0b), фактический маршрут трафика по счётчикам портов (L1) и end-to-end метрики движка и запросов (L2/L3). Всего проанализировано 268 прогонов.

Результаты показывают, как выбор транспорта влияет на производительность — от пропускной способности до задержек. Подробности и цифры — в полном тексте на Habr.