AI能否识别"证据不足"？一个证据充分性基准测试实验

问题的本质：合理答案 ≠ 有依据的答案

语言模型能分辨出哪些答案有现有证据支撑，哪些答案需要依赖无根据的假设吗？这是一位开发者构建 Evidence Sufficiency Evaluation（证据充分性评估） 基准时想要回答的核心问题。

其出发点很直接：生成一个"看起来合理"的答案，与生成一个"有依据"的答案，完全是两回事。理想的模型应该根据接收到的证据作答，而不是用自信的猜测去填补信息空白。当证据不完整、发生关键变化、存在未解决的矛盾，或看似相关实则误导时，模型会如何表现？这正是该基准想要量化的行为。

整个基准包含 72 个测试用例，通过受控的"最小对"（minimal pairs）和对抗性控制项来考察模型对证据的敏感度。

基准如何构建：最小对 + 对抗性控制

评估集由两组互补的测试用例组成，分别针对不同类型的推理挑战。

最小对：60 个用例

基准包含横跨六个类别的 30 组最小对。每一组内部，问题保持不变，但一个关键事实发生改变。这种设计用来检验模型是否会对证据的变化做出相应反应，而不是依赖表层模式、无论信息如何都给出同样的答案。

这里的关键不在于单个答案是否正确，而在于模型的答案是否"跟踪"了相关证据。如果换了关键事实，答案却纹丝不动，就说明模型并没有真正在读证据。

对抗性控制：12 个用例

剩余 12 个用例覆盖三类更棘手的情形：

• 未解决的矛盾：现有证据无法消解其中的冲突。
• 无根据的预设：问题本身假定了某个尚未被确立的前提。
• 近似干扰项：信息看似相关，但并不足以支撑所要求的结论。

这些用例考察的是，模型能否识别可用信息的边界，而不是接受一个"听上去合理却缺乏支撑"的结论。

"最小对"（minimal pairs）是一种借鉴自语言学的实验设计方法。在语言学中，最小对指仅有一个音素不同的两个词（如"bat"与"cat"），用来隔离单一变量的影响。迁移到模型评估领域，最小对的逻辑是：如果两个测试用例除某一关键事实外完全相同，而模型对这两个用例给出了不同的答案，则可以将差异归因于那个关键事实的变化，而非其他干扰变量。这种设计大幅提升了评估的因果解释力——相比随机抽取的问答对，最小对能更精确地揭示模型"在多大程度上真正读取并响应了输入的证据"，而非依赖语言表面的模式匹配或训练数据中的先验倾向。

评分方式与它的局限

基准采用预期标签、严格的标签解析和用例级别的正确性判断，分数反映模型给出预期标签的用例比例。

这种做法让结果易于横向比较，但作者也坦承其局限：模型可能仅仅因为没有遵循要求的回答格式而失分，即便其推理本身站得住脚；反过来，标签正确也并不证明模型是通过合理推理得到结论的。

正因如此，作者强调这个分数应被解读为"在该特定评估协议下的表现"，而非对推理能力的完整衡量——这是一个值得所有基准设计者警惕的区分。

这里揭示的是 AI 基准评估中一个普遍性难题：行为指标与能力指标的脱钩。基于标签匹配的评分本质上是行为测量——它只观察模型输出了什么，无法窥视推理过程。一个模型可能通过"正确猜测"或"格式化规避"得到正确标签，也可能因输出格式不符而在推理完全正确的情况下失分。这类问题在所有依赖离散标签的评估框架中普遍存在，是"评估代理指标"（proxy metric）与"真实目标能力"之间的经典张力。学界对此的部分回应包括：结合过程性评估（如链式推理分析）、人工盲审以及跨框架重复验证，但在大规模自动化评估场景下，这些方法的成本都相当可观。

测试的模型与结果

作者评估的模型包括 Gemini 2.5 Flash、Claude Haiku 5.5 和 Gemini 3.7 Flash。

目前公开的基准视图中显示的是 Gemini 3.7 Flash 的结果，得分为 1.00（满分）。其他模型的结果尚未在该视图中并列展示，因此作者明确表示不会给出未经验证的排名，也不声称某个模型全面胜过其他模型。

作者的态度相当克制：一个在 72 个固定用例上的满分，并不能证明模型在未见样本上同样完美，也不能证明它整体优于其他模型。公平的比较需要在可比条件下完成、可访问的评估。这种对"评估主张必须匹配可用证据"的自我约束，恰好呼应了基准本身想要考察的主题。

三条关于评估语言模型的教训

这个项目强化了作者关于模型评估的三点认识：

准确率不是故事的全部。 模型可能在某个用例上给出预期答案，却并未展现出稳健的、对证据敏感的推理。表面正确可能掩盖了脆弱的内在逻辑。

受控样本很有用。 最小对能够隔离某一关键事实的影响，让人更容易判断模型的答案是否真正回应了那条重要信息，而不是靠套路蒙对。

评估主张必须与可用证据相符。 一个可见的分数可以支持关于"该特定结果"的陈述，但更宽泛的结论需要更多比较、重复测试和错误分析来支撑。

局限与下一步

作者清醒地指出，这个基准是一个有限的测试集，而非对智能或推理能力的全面衡量。其结果可能受提示词措辞、模型版本、推理设置和标签解析规则的影响，而聚合分数还可能掩盖不同类别之间以及个别失败模式的差异。

未来的改进方向包括：

• 为最小对和对抗性控制分别报告独立分数；
• 深入分析单个错误和分歧案例；
• 重复评估以检验结果稳定性；
• 用新用例扩展基准，降低对熟悉模式的过拟合风险；
• 用经过验证的测量数据比较准确率、延迟与推理成本。

该基准已在 Kaggle 公开，作者欢迎独立评估、更多模型加入以及对测试设计的反馈。对于关注 AI 可靠性的开发者而言，这类把"证据敏感度"显式作为评估目标的尝试，比单纯追求问答准确率更有现实价值——毕竟在真实应用中，一个知道"自己不知道"的模型，往往比一个总能给出自信答案的模型更可信。