待验证50% 置信事实精确时间

早期评测基准如MMLU、HellaSwag已暴露出数据污染和饱和效应等问题

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/9

首次发现

有效期至：2026/12/8

来源

Fable 5.1破解373年历史密码：AI推理能力迎来实战突破

涉及实体

MMLUconcept HellaSwagconcept

相关事实

待验证NLP基准数据集被广泛使用后会出现数据污染（Data Contamination）现象，导致基准分数虚高71% 相似待验证MMLU、HumanEval、GSM8K等大模型评测基准存在数据污染、过拟合和生态效度不足的局限性71% 相似待验证数据污染（data contamination）指模型在训练过程中已经见过测试集中的数据，导致评测成绩虚高68% 相似待验证基准过拟合和数据污染会导致模型通过记忆而非真正理解获得高分，使公开基准分数可信度存疑67% 相似待验证构建基准的过程会暴露领域数据中此前被忽视的问题，如标注不一致、样本分布偏斜、边缘案例缺失62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/884353

API

curl https://kongchang.com/api/v1/knowledge/claims/884353

MCP

get_claim(id=884353)