待验证50% 置信基准精确时间

Zheng等人在2023年的研究'Judging LLM-as-a-Judge'显示，GPT-4作为裁判时与人类专家评估的Spearman相关系数可达0.8以上

1

来源数

50%

置信度

长期有效

时效性

2026/8/20

首次发现

来源

AI评估集构建与维护实践指南：让LLM应用质量可量化

相关事实

待验证在GPT-4发布初期，主流模型在GPQA上的准确率约为35-40%，人类领域专家基准线约为65%，随机猜测为25%69% 相似待验证在MMLU、HumanEval等主流基准测试上，Claude 3.5、GPT-4o、Gemini 1.5 Pro、Grok-2之间的分差已压缩至统计误差范围内66% 相似待验证在 SWE-bench 测试中，早期 GPT-4 解决率不足 2%，而 Claude 3.5 Sonnet 突破 49%64% 相似待验证早期GPT-4在SWE-bench的通过率仅为1.7%，Claude 3 Opus约为4.8%，直到2024年中才突破20%63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/779013

API

curl https://kongchang.com/api/v1/knowledge/claims/779013

MCP

get_claim(id=779013)