Unverified50% confidenceFactExact time
一篇发表在arXiv上的研究(arXiv:2609.02899)提出,基准污染的担忧应区分为是否抬高绝对分数与是否改变模型排名顺序两个不同问题
1
Sources
50%
Confidence
Long-term
Relevance
9/11/2026
First Seen
Sources
Related Entities
Related Claims
Unverified研究表明即使是部分污染(模型只见过题目而非答案),也可能显著提升得分66% similarPartially Verified基准污染指模型在训练过程中已见过测试题目,导致评分虚高、无法反映真实泛化能力63% similarUnverified只有差异化污染(某些模型被污染得远比其他模型严重)才会扭曲排名,而这种情况在实践中罕见62% similarUnverified近期研究表明部分模型在已知被污染的基准子集上的表现比未污染子集高出10-15个百分点62% similarUnverified评估模型不能只看智能指标,还要看Token使用效率和工具调用次数,工具调用次数过多会导致上下文污染61% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/900504API
curl https://kongchang.com/api/v1/knowledge/claims/900504MCP
get_claim(id=900504)