Инференс LLM: от KV-кэша до продакшен-деплоя

Саша Рыжов, MLOps-инженер в hh.ru, рассказал о современных подходах к запуску LLM на своём оборудовании. Статья охватывает ключевые аспекты: от управления KV-кэшем до выбора движка инференса.

В тексте разбираются актуальные движки 2026 года и даются рекомендации, как развернуть продакшен-решение on-prem без изобретения велосипеда. Материал будет полезен инженерам, встающим на путь самостоятельного хостинга моделей.