Почему Time to First Token вырос втрое? Оптимизация инференса LLM: кеш, GPU и планировщик

Вы запустили LLM в продакшен — нагрузка та же, а Time to First Token внезапно вырос втрое. Первая мысль: проблема в модели. На деле причина почти всегда в инфраструктуре: планировщик, аллокатор GPU-памяти, очередь стримингового вывода или сеть. Чем длиннее контекст, тем больнее — классический attention растёт квадратично, а KV-кеш раздувается до десятков и сотен гигабайт.

В облаке всё усугубляется смешанным трафиком: кодовый ассистент, аналитика на миллион запросов в день, голосовой робот. На таких нагрузках всплывают проблемы, невидимые на референсных замерах вендора. Статья разбирает типичные узкие места и методы оптимизации: кеширование, управление памятью, настройка планировщика.