vLLM, LMDeploy и Triton: какой бэкенд для инференса LLM не сожжет бюджет?

Запуск LLM в продакшене — один из самых быстрых способов сжечь бюджет на инфраструктуру. Параметры моделей растут экспоненциально, контекст удлиняется, а операционные расходы на генерацию текста становятся главным барьером для масштабирования. Обслуживать запросы к LLM в десятки раз сложнее и дороже, чем классический поиск.

Чтобы выжать максимум из дорогих GPU, нужен специализированный софт. В статье подробно сравниваются три ведущих бэкенда: vLLM, LMDeploy и экосистема NVIDIA Triton Inference Server в связке с TensorRT-LLM. Рассматривается, как они управляют памятью, какие методы квантования используют, как распределяют запросы.

Приводятся результаты бенчмарков на актуальных архитектурах NVIDIA Hopper и Blackwell. Материал будет полезен инженерам, которые выбирают бэкенд для инференса и хотят избежать лишних затрат.