EvidenceFlip
一个评估大语言模型认知校准能力的确定性基准测试，测量模型在证据不足或冲突情况下是否能正确选择回答、拒绝回答或标记冲突，不依赖LLM作为裁判
时间轴 (近 90 天)
EvidenceFlip 是一个确定性基准测试，不依赖另一个大模型来当裁判
EvidenceFlip 要求模型针对每个问题返回 JSON 对象，并选择 answer、abstain、flag_conflict 三种动作之一
EvidenceFlip 的评分规则为：abstain 和 flag_conflict 用例动作正确得1分；answer 用例动作正确得0.5分，答案完全匹配再得0.5分
三个被测开源模型在每个用例上都输出了合法 JSON，解析成功率均为 1.00
Qwen2.5-3B-Instruct 在 EvidenceFlip 上综合得分0.90，动作准确率0.90，冲突检测1.00，抗压能力1.00
SmolLM2-1.7B-Instruct 在 EvidenceFlip 上综合得分0.40，冲突检测1.00，但抗压能力0.00
三个被测模型格式合规性完全一致（JSON解析率均1.00），但决策质量相差六倍
三个被测模型中只有 Qwen2.5-3B 能在证据不支持答案时可靠地拒绝回答
该评估仅使用一个提示词、每个模型只跑一次、采用贪婪解码、答案评分基于归一化精确匹配，且 evidence_ids 并未计分
全部知识事实 (9)
EvidenceFlip 是一个确定性基准测试，不依赖另一个大模型来当裁判
50%待验证EvidenceFlip 要求模型针对每个问题返回 JSON 对象，并选择 answer、abstain、flag_conflict 三种动作之一
50%待验证EvidenceFlip 的评分规则为：abstain 和 flag_conflict 用例动作正确得1分；answer 用例动作正确得0.5分，答案完全匹配再得0.5分
50%待验证三个被测开源模型在每个用例上都输出了合法 JSON，解析成功率均为 1.00
50%待验证Qwen2.5-3B-Instruct 在 EvidenceFlip 上综合得分0.90，动作准确率0.90，冲突检测1.00，抗压能力1.00
50%待验证SmolLM2-1.7B-Instruct 在 EvidenceFlip 上综合得分0.40，冲突检测1.00，但抗压能力0.00
50%待验证三个被测模型格式合规性完全一致（JSON解析率均1.00），但决策质量相差六倍
50%待验证三个被测模型中只有 Qwen2.5-3B 能在证据不支持答案时可靠地拒绝回答
50%待验证该评估仅使用一个提示词、每个模型只跑一次、采用贪婪解码、答案评分基于归一化精确匹配，且 evidence_ids 并未计分
50%