KV cache: почему LLM генерируют текст так быстро

В основе современных LLM лежит архитектура transformer, ключевой механизм которой — attention. Он требует множества матричных перемножений, и при миллиардах параметров это создаёт серьёзную вычислительную нагрузку. Однако генерация текста происходит быстро благодаря хитрости, известной как KV cache.

KV cache — это кэш ключей и значений attention, который позволяет не пересчитывать их для уже обработанных токенов. Вместо того чтобы заново выполнять тяжёлые операции на каждом шаге, модель сохраняет промежуточные результаты и использует их для предсказания следующего токена. Это радикально снижает вычислительные затраты и ускоряет инференс.

Понимание KV cache важно для всех, кто работает с LLM: от разработчиков, оптимизирующих инференс, до инженеров, проектирующих системы на базе языковых моделей. Без этого механизма современные чат-боты и генеративные сервисы были бы гораздо медленнее и дороже.