KV Cache
KV Cache(键值缓存)是Transformer模型推理过程中的一种优化机制,用于缓存注意力计算中每个token对应的键(Key)和值(Value)向量。在自回归生成任务中,模型每步生成新token时无需重新计算历史token的键值对,而是直接复用缓存结果,从而显著降低重复计算量、提升推理效率。该机制以增加显存占用为代价换取计算速度的提升,是大语言模型部署优化的核心技术之一。
核心事实
时间轴 (近 90 天)
MoE-Context 让所有块共享一个键值缓存,隐藏块通过注意力掩码屏蔽其 key/value 的参与,从而可在后续步骤被重新召回而无需重新编码。
控制KV Cache跨池传输成本的常用方法包括分层传输、KV Cache压缩/量化、以及将prefill与decode放在同一高速互联域内。
拆分解码没有解决模型并行和流水线并行的通信开销问题,KV Cache跨节点搬运在超长上下文下会成为新的带宽瓶颈,对中小规模部署运维复杂度可能超过收益。
若稀疏模式不能降低实际读取的KV数据量,decode阶段的加速就会非常有限。
decode阶段逐token自回归生成,每步只处理一个新token,但需要读取全部历史KV Cache,属于显存带宽密集型,瓶颈在数据搬运。
Transformer的KV Cache显存随上下文长度线性增长,100万token上下文会带来显著显存挑战。
前缀缓存只对已经被 prefill 过的 token 建立 KV 条目,最新一轮新增的尾部内容在本次请求中首次计算,不存在可复用的历史 KV,因此对它的编辑不产生额外成本。
在跨版本缓存复用中,即使复用缓存与原生缓存给出相同的首个生成 token,答案边际也可能不同:复用缓存的边际可能更小,导致后续 token 或停止行为的分布发生偏移。
在长上下文场景中,KV Cache 可占显存的主要部分,直接决定推理吞吐与延迟。
仅检查首个令牌是否匹配不足以判断缓存复用的可靠性;在需要精确答案或严格停止条件的场景中,必须进行更全面的行为验证。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构,其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对,将自注意力计算复杂度从 O(N²) 降至 O(N),但显存占用随序列长度线性增长
90%已验证KV Cache的显存占用随序列长度线性增长,700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB
90%已验证KV Cache占用的显存随序列长度线性增长
90%已验证大型语言模型处理长上下文时,注意力机制的计算复杂度与序列长度的平方成正比
90%已验证以LLaMA-3 70B(80层、64头、每头128维)为例,单个token的KV Cache约占2.6MB(FP16精度),32K上下文的KV Cache总量约达83GB
90%已验证PagedAttention是vLLM框架的核心技术,借鉴操作系统虚拟内存管理思想将KV Cache分页存储
90%已验证KV Cache通过缓存已计算的Key/Value矩阵,将推理复杂度从O(n²)降至O(n)
90%已验证PagedAttention将KV缓存分成固定大小的页按需分配,显存利用率可提升2-4倍
85%已验证以LLaMA-2 70B为例,处理4096 token上下文、批量大小32时,KV Cache可消耗超过80GB显存
85%已验证PagedAttention将KV Cache的内存利用率从不足40%提升至接近100%
85%已验证vLLM 使用 PagedAttention 进行 KV Cache 管理
80%已验证KV Cache 是 Transformer 注意力机制中间态的持久化存储,记录每层注意力头对已处理token的键和值向量,从而跳过重复的前向传播计算
80%已验证提示缓存的核心原理是KV Cache的跨请求复用,当多个请求共享相同前缀时已计算的KV状态可被缓存复用
80%已验证模型权重不能把显存占满,必须为 KV 缓存和推理过程预留空间,128K 上下文所需的 KV 缓存可能高达数 GB 甚至超过模型权重本身
80%已验证分页注意力(PagedAttention)是vLLM的核心技术,将KV缓存分块管理,Flash Attention优化注意力计算的内存访问模式
80%已验证KV Cache(键值缓存)机制通过缓存自注意力层生成的 Key 和 Value 向量来避免重复计算以加速推理,但上下文越长需驻留显存的向量越多,内存压力呈近线性增长
80%已验证分组查询注意力(GQA)和多查询注意力(MQA)通过让多个Query头共享同一组Key/Value头减小推理时KV Cache显存占用,是Llama 3、Mistral等模型的标配优化
80%已验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存
80%已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB
80%