基准
KEEP-Bench
一个用于直接评估上下文压缩忠实性的诊断基准，通过要求必须保留特定证据才能正确回答的案例，将证据保留与问答准确率解耦
时间轴 (近 90 天)
10月20日
KEEP-Bench 是一个直接评估上下文压缩忠实性的诊断基准。
待验证50%
10月20日
KEEP-Bench 包含 4,102 个案例，覆盖三种挑战性场景：需要保留证据以支持合理参考解析、显式限定词和少数派观点。
待验证50%
10月20日
实验中，输入平均仅 3.1K tokens，尽管上下文窗口超过 100K tokens。
待验证50%
10月20日
在 KEEP-Bench 上，最佳开源模型（31B）仅在 66.8% 的案例中保留了所有必需证据。
待验证50%
10月20日
在 KEEP-Bench 上，最佳闭源模型仅在 61.6% 的案例中保留了所有必需证据。
待验证50%
10月20日
即使使用定制提示，最强模型在 KEEP-Bench 上的证据保留表现仍不可靠。
待验证50%
10月20日
性能在不同证据结构间差异显著，意味着基于有限结构的结论可能有偏差。
待验证50%
全部知识事实 (7)
待验证
KEEP-Bench 是一个直接评估上下文压缩忠实性的诊断基准。
50%待验证KEEP-Bench 包含 4,102 个案例，覆盖三种挑战性场景：需要保留证据以支持合理参考解析、显式限定词和少数派观点。
50%待验证实验中，输入平均仅 3.1K tokens，尽管上下文窗口超过 100K tokens。
50%待验证在 KEEP-Bench 上，最佳开源模型（31B）仅在 66.8% 的案例中保留了所有必需证据。
50%待验证在 KEEP-Bench 上，最佳闭源模型仅在 61.6% 的案例中保留了所有必需证据。
50%待验证即使使用定制提示，最强模型在 KEEP-Bench 上的证据保留表现仍不可靠。
50%待验证性能在不同证据结构间差异显著，意味着基于有限结构的结论可能有偏差。
50%