待验证50% 置信基准精确时间

gpt-4o-mini裁判在富集集上对本应被判为忠实的人类案例的误标比例高达77.1%

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

审计LLM裁判：文本转SQL流水线中的评估失效与修复

涉及实体

gpt-4o-minimodel

相关事实

已验证微软、谷歌等公司的内部研究表明，即便是GPT-4级别的模型在法律、财务、医疗等垂直领域的事实错误率可能高达15%-30%72% 相似待验证GPT-4作为裁判时与人类评价的一致性可超过80%，但存在位置偏差、冗长偏差和自我偏好等系统性问题69% 相似待验证在专为模型设计的未知规则小游戏测试中，GPT-6拿到99分接近满分，人类最高分只有30多分，其他模型仅在40分左右65% 相似待验证在96%的关卡里，GPT-6找到答案所需的尝试次数比普通人还少65% 相似待验证研究表明人类评估者在判断LLM输出的事实准确性时，正确率往往只有50%-70%64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/955610

API

curl https://kongchang.com/api/v1/knowledge/claims/955610

MCP

get_claim(id=955610)