待验证50% 置信事实精确时间

传统基准测试如GLUE、SuperGLUE、MMLU在短短几年内就被模型刷出超越人类平均水平的分数

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/5

首次发现

有效期至：2026/12/4

来源

AI智力测试频频翻车：谜题揭示大模型推理短板

涉及实体

GLUEproduct SuperGLUEproduct MMLUproduct

相关事实

待验证自2024年下半年以来，主流大模型在MMLU和HumanEval等标准基准测试上的分数提升明显收窄75% 相似待验证在HumanEval等专业代码基准测试中，顶尖模型的表现已接近甚至超越人类平均水平68% 相似待验证2023年多项研究（包括牛津大学的实验）发现，配备检索增强生成（RAG）技术的LLM在结构化预测竞赛中的Brier评分已接近人类超级预测者水平66% 相似待验证2023年多项独立研究表明部分顶级模型在标准数学推理测试中分数极高，但在等价的重新表述版本上成绩大幅下滑，表明模型学习的是测试模式而非真正的推理能力65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/860576

API

curl https://kongchang.com/api/v1/knowledge/claims/860576

MCP

get_claim(id=860576)