待验证50% 置信事实精确时间

评估裁判时应看混淆矩阵，而不是只看准确率；如果 90% 的样本本来就是好答案，一个全部判通过的裁判也能显示 90% 准确。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

LLM裁判有偏见？三个校准步骤让评测可信

涉及实体

混淆矩阵concept 准确率concept

相关事实

待验证校准的不确定性区间意味着：若模型声称 90% 置信区间为某范围，则在大量测试样本中约 90% 的真实值应落入该范围。76% 相似已验证校准后的置信度意味着当系统给出 0.9 的分数时，其正确概率应接近 90%75% 相似待验证当所有模型在某评测上都能拿90分时该评测就应退场，即基准饱和现象75% 相似待验证在基于推理的问答任务上，最强的闭源模型准确率超过90%74% 相似待验证单次分类的 98% 得分是该条消息对应类别的置信度，并不代表模型整体准确率为 98%74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1066493

API

curl https://kongchang.com/api/v1/knowledge/claims/1066493

MCP

get_claim(id=1066493)