KV Cache
KV Cache（键值缓存）是Transformer模型推理过程中的一种优化机制，用于缓存注意力计算中每个token对应的键（Key）和值（Value）向量。在自回归生成任务中，模型每步生成新token时无需重新计算历史token的键值对，而是直接复用缓存结果，从而显著降低重复计算量、提升推理效率。该机制以增加显存占用为代价换取计算速度的提升，是大语言模型部署优化的核心技术之一。
核心事实
时间轴 (近 90 天)
KV Cache大小与序列长度、层数、注意力头数和批大小成正比，长上下文场景下可能超过模型权重本身。
将vLLM用作rollout引擎时，需要处理权重热更新、KV Cache清理、调度优先级与训练进程协同等问题。
业界通常借助 FlashAttention、稀疏注意力、滑动窗口、分块处理以及 KV Cache 压缩等技术来缓解长序列计算量与显存占用问题。
服务商需要构建统一的计算抽象层（类似MLIR、TVM等编译器基础设施），并实现算子融合、动态批处理（continuous batching）、KV Cache管理等优化。
传统 OCR 模型处理长文档时，内存与显存占用随页数线性增长
预填充阶段是模型在处理用户输入时，为所有输入token构建键值缓存（KV Cache）的过程。
Hy-Nomas使用KV Cache作为视频上下文的记忆机制，以保持场景连贯性。
输入缓存命中率指请求的输入token中命中已计算并缓存的KV Cache的比例，高命中率可显著减少GPU算力消耗，但依赖请求模式与前缀复用程度，并非所有业务场景都能达到。
长上下文会显著推高 KV Cache 的显存占用，工程上常通过分组查询注意力（GQA）、KV Cache 量化或分页管理来缓解。
缓存读取（Cache Read）是大型语言模型 API 中的一种计费与优化机制：当请求的前缀与之前某次请求完全一致时，服务商可以直接复用已计算好的键值缓存（KV Cache），而无需重新运行注意力计算。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证KV Cache占用的显存随序列长度线性增长
90%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
90%已验证PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
90%已验证KV Cache通过缓存已计算的Key/Value矩阵，将推理复杂度从O(n²)降至O(n)
90%已验证PagedAttention将KV缓存分成固定大小的页按需分配，显存利用率可提升2-4倍
85%已验证PagedAttention将KV Cache的内存利用率从不足40%提升至接近100%
85%已验证vLLM 使用 PagedAttention 进行 KV Cache 管理
80%已验证KV Cache 是 Transformer 注意力机制中间态的持久化存储，记录每层注意力头对已处理token的键和值向量，从而跳过重复的前向传播计算
80%已验证分页注意力（PagedAttention）是vLLM的核心技术，将KV缓存分块管理，Flash Attention优化注意力计算的内存访问模式
80%已验证分组查询注意力（GQA）和多查询注意力（MQA）通过让多个Query头共享同一组Key/Value头减小推理时KV Cache显存占用，是Llama 3、Mistral等模型的标配优化
80%已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存
80%已验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存
80%已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB
80%已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB
80%已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%已验证KV Cache是Transformer架构的核心推理优化机制，其显存占用量会随序列长度和并发批次线性增长
80%已验证PagedAttention技术借鉴操作系统虚拟内存的分页思想，将KV Cache切分为固定大小的物理块动态分配
80%