待验证50% 置信注意事项精确时间

LMArena的盲测投票机制曾被研究者指出存在提示词工程偏差，即擅长生成流畅、讨好性回答的模型得分偏高，而非实际能力更强

1

来源数

50%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

LMArena迎来新CEO：AI评测平台的机遇与隐忧

涉及实体

相关事实

待验证模型跳过检索直接作答的过度自信在技术上被称为校准不足（miscalibration），即置信度与实际正确率存在系统性偏差74% 相似待验证当多个LLM共享相似的预训练数据或对齐偏差时，多数投票可能无法纠正共同偏差，这是研究额外引入独立人类盲测验证的原因70% 相似待验证研究揭示LLM并不像理想的贝叶斯智能体那样根据证据可靠性进行合理加权更新，而是表现出接近分布倾斜的行为模式，其影响与证据真实可靠性的关联比贝叶斯框架预期的弱69% 相似待验证更密集的相关性判断可降低模型检索到的正确结果被误判为无关的概率，从而提高评测可信度68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/949535

API

curl https://kongchang.com/api/v1/knowledge/claims/949535

MCP

get_claim(id=949535)