KEEP-Bench：上下文压缩中的证据保留新基准

上下文压缩技术旨在提升长上下文处理的效率，但信息瓶颈可能引入忠实性问题——压缩后的文本虽能回答部分问题，却可能丢失关键证据。现有评估依赖问答准确率，然而即使压缩不忠实，读者仍可能答对，从而低估了信息损失。为此，研究者推出了KEEP-Bench，一个直接评估压缩忠实性的诊断基准。

为什么需要专门评估证据保留？

传统QA指标存在盲区：模型可能基于压缩内容中的错误线索或外部知识答对问题，而非真正保留了原始证据。KEEP-Bench通过4,102个案例，覆盖三种挑战性场景：需要保留证据以支持合理参考解析、显式限定词和少数派观点。这些场景要求压缩文本必须包含特定证据才能正确回答，从而暴露不忠实的压缩。

信息瓶颈与忠实性：上下文压缩通常通过一个容量受限的中间表示（如固定长度的摘要或潜在向量）来传递原始长文本的信息，这一过程被称为信息瓶颈。当瓶颈过窄时，压缩器被迫丢弃部分细节，可能优先保留表面流畅性而非关键证据。忠实性要求压缩后的文本能够支持基于原始文本的推理，而不仅仅是生成看似合理的答案。KEEP-Bench 的设计正是为了直接检测瓶颈是否切断了回答所必需的证据链。

证据与问答准确率的解耦：在传统评估中，模型可以依赖参数化知识或压缩文本中的语义线索来猜对答案，即使关键证据已被删除。这种现象称为“捷径学习”。KEEP-Bench 通过构造必须引用特定证据才能正确回答的案例，将证据保留与答案正确性解耦，从而暴露那些“答对但未保留证据”的不忠实压缩。

实验揭示的模型表现

即使使用定制提示，最强模型仍不可靠。尽管上下文窗口超过100K tokens，输入平均仅3.1K tokens，最佳开源模型（31B）仅在66.8%的案例中保留了所有必需证据，最佳闭源模型仅61.6%。性能在不同证据结构间差异显著，意味着基于有限结构的结论可能有偏差。

证据保留回报（EPR）指标

研究者引入EPR指标，将证据召回与推理FLOPs关联。发现EPR在中等规模（4B-8B）达到峰值，但此时召回率仍低。增加输出预算主要惠及已较强的模型，并扩大能力差距，而更强的证据保留伴随陡峭的计算成本。

推理 FLOPs 与计算效率：EPR 将证据召回率与推理阶段消耗的浮点运算次数（FLOPs）关联，衡量每单位计算成本所能换取的证据保留水平。FLOPs 是衡量模型推理计算量的常用指标，与输出 token 数、模型参数量和注意力计算复杂度相关。EPR 的峰值出现在 4B-8B 规模，意味着在这个参数区间，模型在证据保留上的计算效率最高，但绝对召回率仍不理想。这提示单纯增加输出预算或模型规模并非提升忠实性的高效路径。

对未来研究的启示

这些发现强调，未来工作应探索在小计算预算下具有强信息保留能力的压缩器，而非依赖大输出预算或模型缩放。KEEP-Bench为诊断压缩忠实性提供了关键工具，推动更可靠的长上下文处理。