待验证50% 置信解决方案精确时间

基准污染是指评测集公开后模型可能被针对性训练，因此基准需要持续更新或保留私有留出集以维持可信度

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

Datalab开源OmniParseBench：16288项OCR测试审计文档解析器

涉及实体

基准污染concept

相关事实

待验证应对测试集污染的手段包括定期更新测试题库、使用私有或动态生成的测试集、以及通过统计方法检测异常得分分布77% 相似待验证公开的安全评测集存在被纳入训练数据导致评测污染的风险，污染包括模型厂商刷分和恶意者研究测试集开发绕过变体两种风险76% 相似待验证公开基准测试集往往是固定且公开的，这导致模型厂商有动机针对性优化这些题目，即'刷榜'现象74% 相似待验证benchmark优化存在训练数据污染问题,许多模型通过'见过'测试题来提升分数73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1032762

API

curl https://kongchang.com/api/v1/knowledge/claims/1032762

MCP

get_claim(id=1032762)