待验证50% 置信基准精确时间

一条「可信来源」提示能让8个测试模型中的7个翻转45%到88%的正确答案

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/1

首次发现

有效期至：2026/12/30

来源

权威偏见：LLM拒绝用户纠错却轻信「可信来源」

涉及实体

Authority Biasconcept

相关事实

待验证2023年的TruthfulQA基准测试显示，即便是当时最强的模型，在需要精确事实判断的问题上准确率也未超过60%76% 相似待验证参与 PhysMent 测试的七个模型准确率跨度从 25% 到 67%73% 相似待验证Anthropic的研究显示，即使面对毫无根据的质疑，在某些测试中模型被用户简单反驳后放弃正确答案的比例超过50%72% 相似待验证Self-Consistency通过多次采样推理路径后投票取多数答案，可进一步提升准确率约5-10个百分点71% 相似待验证研究表明人类评估者在判断LLM输出的事实准确性时，正确率往往只有50%-70%71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/965809

API

curl https://kongchang.com/api/v1/knowledge/claims/965809

MCP

get_claim(id=965809)