KV缓存修复预算该花在哪？干扰结构与上下文兼容性

非前缀KV缓存复用通过独立编码检索片段并拼接其缓存来加速推理，但当上下文中存在多个片段时，复用会丢失大量上下文依赖问题的答案。一项新研究深入探究了修复预算的最佳分配策略，发现将有限预算集中在目标片段上，并利用上下文兼容性重新计算，比分散修复或简单重排序更有效。

非前缀复用中的修复预算困境

在对话记忆、开放域问答和API文档等场景中，非前缀KV缓存复用能显著降低预填充开销。然而，研究团队在三个7B-8B模型和四个数据集上发现，复用会丢失19%至100%的上下文依赖问题——即完整预填充能正确回答的问题，复用后无法回答。更关键的是，当其他片段（干扰项）与目标片段类型相同时，损失更为严重。

由于可恢复的损害分散在这些干扰片段上，仅修复少数几个干扰项收效甚微。这意味着，在预算有限时，将资源集中在目标片段上更为明智。

KV缓存（Key-Value Cache）是Transformer类模型在自回归推理时，为加速生成而缓存的历史token的键值对，避免重复计算。前缀缓存复用指当新请求与已有请求共享相同前缀时，直接复用该前缀对应的KV缓存；而非前缀复用则允许复用任意位置、非连续片段的KV缓存，通常通过独立编码检索片段并拼接其缓存实现。这种灵活性带来了上下文依赖断裂的问题：拼接的缓存之间缺乏完整的注意力交互，导致模型无法正确回答需要跨片段推理的问题。修复预算指在复用后，为重新计算部分KV而分配的有限计算资源（如token数量或片段数量），其分配策略直接影响修复效果。

上下文兼容性：重新计算目标片段优于插入完整KV

研究提出了“上下文兼容性”概念：在复用缓存的基础上重新计算目标片段，其效果在所有七种测试设置中均优于直接插入目标片段的完整预填充KV。尽管重新计算得到的KV与完整预填充KV仍有较大差距，但前者能更好地与复用缓存协同工作。

这一发现挑战了直觉——通常认为完整预填充的KV质量更高，但实验表明，兼容性比绝对质量更重要。重新计算的目标KV虽然不完美，却能与周围的复用缓存形成更协调的上下文表示。

上下文兼容性指新计算的KV表示与周围已复用缓存之间的协调程度。在标准预填充中，所有token的KV是一体化计算的，彼此注意力模式一致；而拼接复用缓存时，各部分KV来自不同计算过程，若直接插入完整预填充的目标KV，其注意力分布可能与复用缓存不匹配，反而引入噪声。重新计算目标片段时，模型会基于当前拼接的上下文（包括复用缓存）重新生成KV，使其注意力模式与周围缓存更协调，从而提升整体一致性。这类似于上下文感知的微调：不是追求单个片段的绝对最优表示，而是追求与现有上下文的兼容。实验表明，这种兼容性比KV的绝对质量更重要，为缓存修复提供了新思路。

注意力选择与检索器辅助

问题注意力在复用缓存上最多只能在18.8%的开发集问题中选中目标片段。相比之下，检索器能更频繁地定位目标。在九个开放域问答和API文档设置中的六个里，以5%的预算重新计算检索器排名最高的片段（将其移至问题附近后），效果显著优于InfoFlow风格的重排序。

但在对话记忆任务上，重新计算片段从未显著优于针对每个设置选择的token级选择器。这表明，不同任务类型可能需要不同的预算分配策略。

InfoFlow重排序是一种基于信息流的缓存重排序方法，它通过分析注意力模式或信息流动来调整片段顺序，试图将关键片段移至更有利的位置。然而，该方法通常只改变片段顺序而不重新计算KV，因此无法修复因拼接导致的上下文依赖断裂。相比之下，token级选择器是一种细粒度的预算分配策略，它根据问题注意力或重要性分数选择个别token进行重新计算，而非整个片段。在对话记忆任务中，由于上下文依赖往往分散在多个短片段或对话轮次中，token级选择器能更灵活地捕捉关键信息，因此表现优于片段级重计算。这提示我们，预算分配策略应与任务中上下文依赖的分布特性相匹配。

实践启示与局限

对于开放域问答和API文档场景，优先使用检索器定位目标片段，并在移动后重新计算其KV，是一种高效的预算利用方式。而在对话记忆场景中，token级选择器可能更合适。研究还指出，干扰项的结构（是否与目标同类型）显著影响复用损失，因此在设计缓存复用系统时，应考虑干扰项的多样性。

该研究为KV缓存修复提供了数据驱动的指导，但结论基于特定模型和数据集，泛化性需进一步验证。未来工作可探索自适应预算分配策略，结合检索器和token级选择器的优势。