Evidence Sufficiency Evaluation
一个用于评估语言模型证据敏感度的基准测试，包含72个测试用例，采用最小对和对抗性控制项设计，考察模型能否识别证据不足、矛盾或误导性信息的场景
时间轴 (近 90 天)
Evidence Sufficiency Evaluation（证据充分性评估）基准旨在测试语言模型能否分辨哪些答案有现有证据支撑、哪些需要依赖无根据的假设
该基准包含 72 个测试用例
该基准由60个最小对用例（横跨六个类别的30组最小对）和12个对抗性控制用例组成
12个对抗性控制用例覆盖三类情形：未解决的矛盾、无根据的预设、近似干扰项
该基准采用预期标签、严格的标签解析和用例级别的正确性判断，分数反映模型给出预期标签的用例比例
作者表示不会给出未经验证的排名，不声称某模型全面胜过其他模型，因为72个固定用例上的满分不能证明模型在未见样本上同样完美
该基准已在 Kaggle 公开，作者欢迎独立评估、更多模型加入及对测试设计的反馈
基准结果可能受提示词措辞、模型版本、推理设置和标签解析规则的影响，聚合分数可能掩盖不同类别间的差异
全部知识事实 (8)
基准结果可能受提示词措辞、模型版本、推理设置和标签解析规则的影响，聚合分数可能掩盖不同类别间的差异
50%待验证该基准包含 72 个测试用例
50%待验证该基准由60个最小对用例（横跨六个类别的30组最小对）和12个对抗性控制用例组成
50%待验证12个对抗性控制用例覆盖三类情形：未解决的矛盾、无根据的预设、近似干扰项
50%待验证该基准采用预期标签、严格的标签解析和用例级别的正确性判断，分数反映模型给出预期标签的用例比例
50%待验证作者表示不会给出未经验证的排名，不声称某模型全面胜过其他模型，因为72个固定用例上的满分不能证明模型在未见样本上同样完美
50%待验证Evidence Sufficiency Evaluation（证据充分性评估）基准旨在测试语言模型能否分辨哪些答案有现有证据支撑、哪些需要依赖无根据的假设
50%待验证该基准已在 Kaggle 公开，作者欢迎独立评估、更多模型加入及对测试设计的反馈
50%