待验证50% 置信事实精确时间

一篇发表在arXiv上的研究（arXiv:2609.02899）提出，基准污染的担忧应区分为是否抬高绝对分数与是否改变模型排名顺序两个不同问题

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

基准污染夸大LLM分数，却难撼动排行榜排名

涉及实体

arXiv:2609.02899concept 基准污染concept

相关事实

待验证研究表明即使是部分污染（模型只见过题目而非答案），也可能显著提升得分66% 相似部分验证基准污染指模型在训练过程中已见过测试题目，导致评分虚高、无法反映真实泛化能力63% 相似待验证只有差异化污染（某些模型被污染得远比其他模型严重）才会扭曲排名，而这种情况在实践中罕见62% 相似待验证近期研究表明部分模型在已知被污染的基准子集上的表现比未污染子集高出10-15个百分点62% 相似待验证评估模型不能只看智能指标，还要看Token使用效率和工具调用次数，工具调用次数过多会导致上下文污染61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/900504

API

curl https://kongchang.com/api/v1/knowledge/claims/900504

MCP

get_claim(id=900504)