待验证50% 置信事实精确时间

公开基准测试（如 MMLU、HumanEval、MT-Bench）衡量模型在学术或通用任务上的能力，但这些分数与具体业务效果之间往往存在明显鸿沟

1

来源数

50%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

Promptic：用数据驱动优化GenAI应用的质量与成本

涉及实体

MMLUconcept HumanEvalconcept MT-Benchconcept

相关事实

已验证基准测试成绩与用户真实体验之间存在鸿沟，部分厂商存在针对特定基准专项优化（刷榜）以及训练数据污染导致成绩虚高的现象74% 相似待验证众包式盲测评测被认为比传统学术基准测试（如MMLU、HumanEval）更能反映模型在开放式对话中的综合表现73% 相似待验证顶级模型在许多评估任务上已接近人类裁判的水平，但存在倾向于给较长回答打高分等偏见72% 相似待验证作业分数衡量任务完成质量，而考试分数衡量知识内化程度，二者存在关键差异70% 相似待验证基于人类盲评的竞技场机制和真实任务评测可在很大程度上规避静态基准测试的过拟合（teaching to the test）问题68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/950144

API

curl https://kongchang.com/api/v1/knowledge/claims/950144

MCP

get_claim(id=950144)