待验证50% 置信事实精确时间
由于互联网上存在大量对基准题目的讨论，模型训练时可能已见过答案，导致测试分数虚高，即'污染问题'
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
已验证基准污染指模型在训练过程中已见过测试题目，导致评分虚高、无法反映真实泛化能力80% 相似待验证传统基准测试在评估模型推理能力上已失效，因为几乎每个模型都可能在训练数据中见过标准答案70% 相似待验证基准测试面临饱和（Saturation）和数据污染（Data Contamination）两个系统性挑战，当多个主流模型得分超过95%时测试集失去区分能力69% 相似待验证Anthropic的研究显示，即使面对毫无根据的质疑，在某些测试中模型被用户简单反驳后放弃正确答案的比例超过50%69% 相似待验证2023年多项独立研究表明部分顶级模型在标准数学推理测试中分数极高，但在等价的重新表述版本上成绩大幅下滑，表明模型学习的是测试模式而非真正的推理能力68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1000355API
curl https://kongchang.com/api/v1/knowledge/claims/1000355MCP
get_claim(id=1000355)