KV-Surgeon：补偿感知的KV缓存压缩新方法

离线压缩键值缓存（KV-cache）是降低重复查询固定上下文成本的有效手段：只需构建一次更小的缓存，后续便可反复使用。压缩的核心挑战在于决定删除哪些缓存条目、保留哪些。现有方法独立评估每个待删除候选，并固定其余缓存不变。然而，注意力操作中的softmax重归一化会以非线性方式耦合这些决策：删除一个条目会改变所有剩余条目的注意力权重。

为解决这一问题，研究者提出了KV-Surgeon，利用校准数据以可处理的方式考虑条目间的交互。该方法推导出一个二次代理模型，该模型具有闭式表达式，可联合做出最优的贪心删除决策，并在剩余条目中进行补偿。实验表明，在QuALITY、LongHealth和Long Code Arena数据集上，对于参数规模从40亿到300亿的稠密模型和混合专家模型，KV-Surgeon在每一个评估的压缩比下都显著推进了成本-准确率的帕累托前沿。

压缩的挑战与现有方法的局限

KV-cache压缩的目标是在不显著损失模型性能的前提下，尽可能减少缓存占用的内存和计算开销。传统方法通常单独评估每个缓存条目的重要性，假设删除某个条目不会影响其他条目的作用。但注意力机制中的softmax归一化使得所有条目相互关联：删除一个条目后，剩余条目的注意力分数会被重新归一化，从而改变模型的行为。这种非线性的耦合使得独立评估方法难以做出全局最优的删除决策。

据论文描述，KV-Surgeon通过校准数据来捕捉这种交互效应，将问题转化为一个二次优化问题，从而能够同时考虑删除和补偿。

KV-cache（键值缓存） 是 Transformer 自回归推理时保存历史 token 的 Key 和 Value 向量的机制，避免每生成一个新 token 都重新计算全部上下文。对于固定长上下文（如长文档、代码库）的重复查询，这一缓存可被离线构建并复用，从而摊薄预填充成本。然而，缓存大小随上下文长度线性增长，内存占用和访存带宽成为瓶颈，因此需要压缩。

softmax 重归一化 指的是注意力权重 ( \mathrm{softmax}(qK^\top/\sqrt{d}) ) 中分母为所有未屏蔽条目的指数和。当某些条目被删除（屏蔽）后，分母变小，剩余每个条目的注意力权重会按比例增大——这就是“重归一化”。它意味着删除决策并非独立：删掉一个条目会改变其余所有条目的权重分配，从而产生非线性耦合，这正是独立评分方法失效的根源。

KV-Surgeon的核心方法：二次代理与补偿机制

KV-Surgeon的核心创新在于构建一个二次代理模型，该模型近似了删除条目后注意力权重的变化。这个代理模型允许闭式求解最优的贪心删除策略，同时还能在保留的条目中调整（补偿）注意力权重，以抵消删除带来的影响。

具体而言，该方法首先利用校准数据计算条目间的交互矩阵，然后通过贪心算法逐步选择要删除的条目，每一步都考虑剩余条目的补偿调整。这种联合优化方式显著优于独立评分方法。

二次代理模型 是指用一个二次型函数近似删除集合对注意力输出的影响。由于 softmax 重归一化的分母是剩余条目指数和，删除多个条目时交互项自然出现，目标函数可写成关于删除指示变量的二次型；在贪心框架下，每次只需在二次型上做闭式比较，选出当前最优的单个删除，从而避免组合爆炸。

贪心删除与补偿 是指每步只删一个条目，但允许在剩余条目上调整注意力权重（即补偿），以最小化对校准数据上输出分布的扰动。补偿项可通过代理模型的闭式解直接算出，无需额外前向传播，因此计算成本远低于穷举或迭代优化。

实验结果：帕累托前沿的推进

研究者在三个长上下文基准上评估了KV-Surgeon：QuALITY（长文档问答）、LongHealth（医疗长文本理解）和Long Code Arena（代码理解）。测试模型包括稠密模型和混合专家模型，参数规模从4B到30B。

关键结果包括：在50倍压缩比下，KV-Surgeon在问答准确率上比当前最优的注意力匹配方法（Zweiger et al., 2026）最高提升4个百分点，而成本相当。此外，作者还提出一个更快的变体，其成本仅为注意力匹配的40%，但仍能超越现有最优方法。这些结果表明，KV-Surgeon在成本-准确率权衡上实现了实质性改进。

意义与展望

KV-Surgeon的提出为离线KV-cache压缩提供了新的思路：通过考虑条目间的交互和补偿机制，能够更高效地利用缓存空间。这对于需要重复查询固定上下文的应用场景（如长文档问答、代码库检索增强生成）具有重要价值。未来可能的方向包括进一步降低校准开销、扩展到在线压缩场景等。