DeepSeek открыла исходники DeepInfer — движка, который обслуживает V4.1-Flash в проде

DeepSeek сделала редкий шаг: открыла исходники DeepInfer — инференс-движка, который реально обслуживает её флагманскую модель DeepSeek-V4.1-Flash в продакшене. Код выложен под лицензией Apache 2.0, плюс отдельно доступен слой кодирования токенов deepseek-recipe (лицензия MIT). Для разработчиков это уникальная возможность посмотреть, как устроен стек обслуживания фронтир-лаборатории.

DeepInfer построен на базе vLLM, с идеями из SGLang и TensorRT-LLM. Среди ключевых фич: attention DP + Wide-EP для параллелизма, спекулятивное декодирование DSpark с confidence-шедулером, которое сокращает число проверяемых токенов примерно на 30%, и SWA bounded replay — пересчёт только последних 128 токенов при попадании в кэш. Производительность впечатляет: один кластер обрабатывает 155 трлн токенов в день, а на GPU в пике — свыше 25 000 выходных токенов/с (EP64, 256 запросов, контекст 131 072).

Есть и ограничения: релиз покрывает только offline-инференс, без KV cache system, P/D disaggregation и балансировки нагрузки. Поддерживается одна модель — V4.1-Flash, и железо специфичное: NVIDIA SM100 (Blackwell) и Huawei Ascend 950 NPU. Бенчмарки гоняли на 4 GPU для prefill и 64 для decode. Тем не менее, это ценный референс для всех, кто строит собственные инференс-системы на масштабе.