vLLM представил нативный transformers-бэкенд: скорость как у родного

vLLM, популярный фреймворк для быстрого инференса больших языковых моделей, объявил о выходе нативного бэкенда для transformers. Теперь модели, загруженные через Hugging Face Transformers, могут работать напрямую через vLLM, используя все его оптимизации — PagedAttention, непрерывное пакетирование и эффективное управление памятью.

Ранее для запуска transformers-моделей на vLLM требовалась дополнительная конвертация или обёртки, что снижало производительность. Новый бэкенд устраняет этот барьер: достаточно загрузить модель через AutoModel, и vLLM автоматически подхватит её.

По заявлению разработчиков, скорость инференса выросла в разы на многих популярных архитектурах (Llama, Mistral, Qwen) при полной совместимости с API transformers. Это упрощает миграцию с классического transformers на production-ready vLLM без переписывания кода.