待验证50% 置信事实精确时间

人类在二值偏好任务上自我一致率约 66%，人工标注约每 1000 条 300 美元，LLM 标注便宜约 50 倍且与人类多数意见一致率更高。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/17

首次发现

有效期至：2027/1/15

来源

LLM构建全流程：为什么多数解读都停在Transformer

涉及实体

人类标注concept LLM 标注concept

相关事实

待验证研究表明人类评估者在判断LLM输出的事实准确性时，正确率往往只有50%-70%67% 相似待验证作者建议Agent的自信度阈值设计为：大于90%自主执行，60%~90%呈现中间状态让用户确认，小于60%强制承认不确定不硬猜67% 相似待验证在歧义点的四类行为中，'先搜再问'成功率最高，平均通过率达93.4%，远高于'直接猜'的56.5%，'搜多次再猜'为51.5%66% 相似待验证该基准给每个模型输出两个永不合并的数字：任务得分和虚假自信率（本应上报却强行作答的比例）65% 相似待验证在依据文献回答的科学题上，最好的评测器o3与人类投票一致率65.1%，而随机猜测是50%。65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1051007

API

curl https://kongchang.com/api/v1/knowledge/claims/1051007

MCP

get_claim(id=1051007)