DeepSeek выложила DeepInfer в open source: движок инференса, удешевляющий запуск моделей

Компания DeepSeek опубликовала в открытом доступе DeepInfer — инфраструктурный движок, который стоит за её моделью V4.1-Flash. Этот фреймворк построен на основе популярной библиотеки vLLM и специально заточен под максимальную скорость и минимальную стоимость инференса.

Открытие DeepInfer позволяет разработчикам со всего мира не только воспроизвести производительность V4.1-Flash, но и значительно сократить расходы на вычислительные ресурсы и электроэнергию при развёртывании собственных моделей. Это делает DeepSeek ещё более конкурентным на фоне западных провайдеров — OpenAI и Anthropic, которые сейчас держат цены ниже многих аналогов.

DeepInfer оптимизирует работу с памятью и алгоритмы пакетной обработки запросов, что даёт прирост пропускной способности до нескольких раз по сравнению со стандартными решениями. DeepSeek подчёркивает, что именно этот движок позволил модели V4.1-Flash стать самой быстрой и экономичной в их линейке.