llm-d 1.0: Google Cloud превратила vLLM и SGLang в единый пул — задержка ответа упала на 85%

На конференции PyTorch Conference North America команда Google Cloud представила llm-d 1.0 — первый стабильный релиз распределённого инференс-стека. Это открытый слой поверх Kubernetes, который превращает vLLM или SGLang в координируемый пул. Проект нацелен на self-hosted агентов и RL-нагрузки, где классический round-robin балансировщик не справляется.

В заявленных бенчмарках на 17 000-нодном мультирегиональном GKE-деплое медианный TTFT сократился более чем на 85%, а throughput вырос в 2,4 раза на кодинг-нагрузке Ironwood TPU. Эффект дают cache-aware routing, многоуровневая выгрузка KV-кэша и разделение prefill/decode. Для RL-сценариев с тайм-слайсингом загрузка акселераторов поднимается выше 70% — правда, около 30% простоя всё равно остаётся.

В версии 1.0 появились многоарендный QoS с приоритизацией запросов, стабильный API v1, zero-downtime обновления (горячий резерв роутера и DisaggregatedSet для совместного обновления prefill/decode-пулов), session-aware маршрутизация для агентов и асинхронный процессинг через Pub/Sub или Redis. Также расширена поддержка TPU: TorchTPU теперь работает прямо внутри upstream vLLM и SGLang.

Проект llm-d основан в 2025 году Red Hat, IBM, Google Cloud, CoreWeave и NVIDIA. Red Hat, IBM и Google — главные мейнтейнеры. В проекте участвуют более 500 контрибьюторов из 25+ организаций, а сам llm-d принят в CNCF Sandbox (12 марта 2026) и распространяется под Apache 2.0. Маршрутизация построена на Kubernetes Gateway API Inference Extension: роутер знает, где лежит закешированный префикс, учитывает загрузку и прогнозируемую задержку, а при нехватке памяти акселератора выгружает KV-кэш в RAM, SSD или Managed Lustre.