待验证50% 置信事实精确时间

部分厂商存在针对评测集过度优化（刷榜/benchmark contamination）的倾向，导致分数膨胀但泛化能力不足

1

来源数

50%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

Gemini Omni Flash引热议：为何独缺Pro版？

涉及实体

benchmark contaminationconcept

相关事实

待验证基准测试存在「饱和」和「数据污染」等局限，这是业界持续开发新评测集的原因74% 相似已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）73% 相似待验证厂商针对特定基准优化会导致基准分数提升与真实使用能力改善脱节，即benchmark hacking问题72% 相似已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力72% 相似待验证评分校准是关键技术难点，模型必须能大量给出低分，否则过滤系统失去意义71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/829389

API

curl https://kongchang.com/api/v1/knowledge/claims/829389

MCP

get_claim(id=829389)