KV-Surgeon
一种补偿感知的离线KV缓存压缩方法，通过二次代理模型考虑softmax重归一化导致的条目间非线性耦合，联合进行贪心删除与补偿，在多个长上下文基准上推进了成本-准确率帕累托前沿。
时间轴 (近 90 天)
KV-Surgeon是一种利用校准数据考虑缓存条目间交互的离线KV-cache压缩方法，通过推导二次代理模型进行联合贪心删除决策并在剩余条目中进行补偿。
KV-Surgeon在QuALITY、LongHealth和Long Code Arena三个长上下文基准数据集上进行了评估。
KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。
在每一个评估的压缩比下，KV-Surgeon都显著推进了成本-准确率的帕累托前沿。
在50倍压缩比下，KV-Surgeon在问答准确率上比注意力匹配方法（Zweiger et al., 2026）最高提升4个百分点，而成本相当。
KV-Surgeon提出一个更快的变体，其成本仅为注意力匹配方法的40%，但仍能超越现有最优方法。
KV-Surgeon的二次代理模型将删除集合对注意力输出的影响近似为二次型函数，在贪心框架下每次只需在二次型上做闭式比较，选出当前最优的单个删除，从而避免组合爆炸。
KV-Surgeon的补偿项可通过代理模型的闭式解直接算出，无需额外前向传播，因此计算成本远低于穷举或迭代优化。
全部知识事实 (8)
KV-Surgeon是一种利用校准数据考虑缓存条目间交互的离线KV-cache压缩方法，通过推导二次代理模型进行联合贪心删除决策并在剩余条目中进行补偿。
50%待验证KV-Surgeon在QuALITY、LongHealth和Long Code Arena三个长上下文基准数据集上进行了评估。
50%待验证KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。
50%待验证在每一个评估的压缩比下，KV-Surgeon都显著推进了成本-准确率的帕累托前沿。
50%待验证在50倍压缩比下，KV-Surgeon在问答准确率上比注意力匹配方法（Zweiger et al., 2026）最高提升4个百分点，而成本相当。
50%待验证KV-Surgeon提出一个更快的变体，其成本仅为注意力匹配方法的40%，但仍能超越现有最优方法。
50%待验证KV-Surgeon的二次代理模型将删除集合对注意力输出的影响近似为二次型函数，在贪心框架下每次只需在二次型上做闭式比较，选出当前最优的单个删除，从而避免组合爆炸。
50%待验证KV-Surgeon的补偿项可通过代理模型的闭式解直接算出，无需额外前向传播，因此计算成本远低于穷举或迭代优化。
50%