KV缓存
KV缓存（Key-Value Cache）是大语言模型推理中的一种优化机制，用于存储注意力计算过程中已生成的键（Key）和值（Value）张量。通过复用历史计算结果，避免对已处理token的重复运算，从而显著降低自回归生成时的计算量，提升推理效率。广泛应用于Transformer架构模型的部署与加速场景。
核心事实
时间轴 (近 90 天)
kv8指KV缓存使用8位量化，可进一步节省显存。
KV缓存的有效期按场景区分：聊天场景7天，智能体场景3天。
使用KV缓存后，同一张卡每秒处理的token数从6万提升到150万，相差25倍。
DeepSeek的推理系统平均每个请求输入77000 token，其中96%能直接命中KV缓存。
KV缓存机制通过保存历史token的Key和Value矩阵，在后续生成时复用，从而摊薄输入阶段的单位成本。
输出阶段是串行逐token生成的，缓存无法跳过生成本身的计算，因此厂商在输出侧的成本优化空间远小于输入侧。
AsymLoop使用单遍因果编码器生成层特定的全局KV缓存，这些缓存在整个迭代过程中保持不变。
缓存工程像管理内存一样管理KV缓存，适用于需要多轮工具调用、长轨迹规划的任务。
缓存工程的核心操作包括drop和repos：drop允许智能体主动将选定的缓存排除在未来注意力计算之外；repos调整保留键的位置编码。
传统方法通过上下文工程裁剪或摘要历史来缩减KV缓存，会破坏轨迹前缀的连续性，导致保留上下文需要重新预填充（re-prefill），增加延迟并可能牺牲任务准确率。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证vLLM 使用 PagedAttention 进行 KV Cache 管理
80%已验证KV Cache 是 Transformer 注意力机制中间态的持久化存储，记录每层注意力头对已处理token的键和值向量，从而跳过重复的前向传播计算
80%已验证vLLM的PagedAttention借鉴操作系统虚拟内存分页思想管理KV缓存，将显存碎片化损耗从约30%降低至接近0
80%已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证KV Cache是Transformer架构的核心推理优化机制，其显存占用量会随序列长度和并发批次线性增长
80%已验证PagedAttention技术借鉴操作系统虚拟内存的分页思想，将KV Cache切分为固定大小的物理块动态分配
80%已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/4
80%已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高
80%已验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存
80%已验证上下文越长，KV 缓存线性增长，显存带宽和容量成为推理吞吐的主要瓶颈。
75%已验证持久化KV缓存的代价是存储空间显著增加，以及如何在海量缓存中高效定位和加载相关片段的工程挑战
75%已验证KV缓存随上下文长度线性增长，增加解码阶段每步的内存读取量，是解码速度随上下文增大而下降的根本原因
75%已验证KVCache是Transformer架构中缓存之前所有token的Key和Value向量以避免重复计算的机制，其显存占用随上下文长度线性增长
75%已验证相比上一代V4 Flash，V4.1 Flash对高速显存（HBM）的需求降到四分之一，对SSD持久化存储的需求降到八分之一
75%已验证KV Cache机制中，复用已缓存的KV值为命中，上下文变化导致缓存失效需重新计算为未命中
75%已验证KV缓存（Key-Value Cache）策略将已计算的注意力键值对存储在GPU显存中以供复用，会大量占用GPU内存资源
75%