待验证50% 置信观点精确时间
传统基准如 MMLU、GSM8K 侧重学术能力，题目固定且容易被训练数据覆盖，导致数据污染问题。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证Arena排名比GSM8K、MMLU等固定基准测试更能反映真实用户体验，因为固定基准测试容易被针对性优化且测试集公开后会被训练数据污染79% 相似待验证MMLU、GSM8K、HumanEval三大基准均已出现不同程度的污染问题，研究者发现多款主流模型训练数据中存在与测试题高度重叠的内容77% 相似待验证MMLU、HumanEval、GSM8K等主流评测集长期公开在互联网上，模型在预训练或微调阶段极可能接触过这些题目75% 相似待验证ML系统设计需覆盖数据管道、训练、评估、推理、监控、RAG与Agent、LLM基础设施等关键领域69% 相似待验证主流大模型基准如MMLU、BigBench、MATH均已被广泛用于模型训练数据筛选与强化学习奖励信号设计，导致高分越来越难映射到真实能力提升68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1026597API
curl https://kongchang.com/api/v1/knowledge/claims/1026597MCP
get_claim(id=1026597)