已验证65% 置信事实精确时间

当测试题目可能已出现在训练数据中时，高分并不能真正代表泛化能力，这被称为基准污染

3

来源数

65%

置信度

长期有效

时效性

2026/8/26

首次发现

来源

AI能力争论：Reddit为何两极分化？理性看待AI真实水平

涉及实体

benchmark contaminationconcept

相关事实

已验证基准测试面临污染（Contamination）风险，若训练数据中包含测试题目或近似变体，模型高分可能部分源于背题而非真实能力80% 相似待验证基准测试的测试集往往是静态封闭的，厂商可针对特定基准进行训练优化使模型表现亮眼，但不意味着泛化能力同步提升74% 相似待验证2024年多项研究发现部分模型在标准基准上的优秀表现源于训练数据中混入了基准测试题目本身（数据污染）72% 相似待验证如果评测基准与训练数据高度对齐，超越更多反映的是过拟合式的专精而非真正能力提升72% 相似待验证用污染轨迹训练的模型在跨领域任务中持续优于用正确轨迹训练的对照组，同时它们生成的推理轨迹始终是无效的71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/804698

API

curl https://kongchang.com/api/v1/knowledge/claims/804698

MCP

get_claim(id=804698)