Сеть — главный убийца ИИ-кластеров: разбираем RoCEv2, RDMA и мифы об InfiniBand

В новом материале цикла про ИИ-инфраструктуру дошли до сети — самого недооценённого звена. Заказчики обычно закладывают бюджет на GPU и серверы, а про сеть вспоминают по остаточному принципу: «поставим что-нибудь достаточно быстрое». Но именно сеть при распределённом обучении создаёт непредсказуемые задержки и заставляет дорогие карты простаивать в ожидании данных вместо вычислений.

Авторы делятся опытом проектирования сетевой архитектуры «Скала^р МИИ» и объясняют, какие вопросы пришлось решать заранее, чтобы не столкнуться с ними на проде. В статье — ограничения InfiniBand, сравнение с RoCEv2, роль RDMA и объяснение, почему InfiniBand не единственный правильный ответ для ИИ-нагрузок.