KV缓存
KV缓存（Key-Value Cache）是大语言模型推理中的一种优化机制，用于存储注意力计算过程中已生成的键（Key）和值（Value）张量。通过复用历史计算结果，避免对已处理token的重复运算，从而显著降低自回归生成时的计算量，提升推理效率。广泛应用于Transformer架构模型的部署与加速场景。
核心事实
时间轴 (近 90 天)
KV缓存中，缓存写入通常比普通输入token贵约25%，但缓存读取便宜约90%。
Anthropic等厂商会在服务端缓存KV向量，后续请求若命中相同前缀，就跳过重算，直接复用。
预填充-解码分离架构将两个阶段放到不同的实例或资源池中执行，导致KV缓存需要在两者间传输或共享，增加缓存迁移成本。
前缀树（Trie）将缓存的 KV 按 token 序列组织成树形，多个请求只要共享任意长度的公共前缀就能命中并复用 KV，不要求整段前缀完全一致。
Prompt Caching 是跨请求、跨用户、跨对话的优化，只要不同请求的提示词前缀完全一致，对应的 KV 结果就能全局共享。
常规 KV 缓存是单请求内的优化，同一轮对话里历史消息生成的 KV 不需要重复计算，只增量计算新输入的内容。
投机解码和KV缓存优化等推理工程手段对RSI研究的重要性不亚于算法本身，因为生成速度慢一倍意味着同等预算下迭代轮数减半
端侧推理最常出现的问题是内存，上下文长度会悄悄撑大KV缓存直至与权重相撞
端侧LLM推理中，模型权重、KV缓存和运行时必须同时容纳在设备的固定内存里
写入KV缓存的浮点误差具有持久性，即使引入误差的批次已结束、请求已完成，污染仍通过缓存状态延续影响后续token生成
还有 40 条时间轴事件
全部知识事实 (20)
KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证KV Cache 是 Transformer 注意力机制中间态的持久化存储，记录每层注意力头对已处理token的键和值向量，从而跳过重复的前向传播计算
80%已验证vLLM的PagedAttention借鉴操作系统虚拟内存分页思想管理KV缓存，将显存碎片化损耗从约30%降低至接近0
80%已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证KV Cache是Transformer架构的核心推理优化机制，其显存占用量会随序列长度和并发批次线性增长
80%已验证PagedAttention技术借鉴操作系统虚拟内存的分页思想，将KV Cache切分为固定大小的物理块动态分配
80%已验证vLLM 使用 PagedAttention 进行 KV Cache 管理
80%已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/4
80%已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高
80%已验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存
80%已验证相比上一代V4 Flash，V4.1 Flash对高速显存（HBM）的需求降到四分之一，对SSD持久化存储的需求降到八分之一
75%已验证KV Cache机制中，复用已缓存的KV值为命中，上下文变化导致缓存失效需重新计算为未命中
75%已验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源
75%已验证超长上下文窗口的KV缓存显存占用随上下文长度线性增长，导致推理延迟和成本显著上升
75%已验证KV Cache（键值缓存）机制通过缓存自注意力层生成的 Key 和 Value 向量来避免重复计算以加速推理，但上下文越长需驻留显存的向量越多，内存压力呈近线性增长
75%已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长
75%已验证自回归生成阶段每生成一个新token需对所有历史token重新计算注意力，计算量随序列长度呈O(n²)增长，KV Cache可将复杂度降至O(n)的增量操作
75%已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存
70%