概念Benchmark Contamination / 数据污染 / 测试集污染
基准测试污染
AI评估领域的重要问题,指训练数据中混入测试集内容或模型主动获取答案,导致基准测试分数无法真实反映模型能力,影响AI评估体系公信力
核心事实
时间轴 (近 90 天)
10月16日
基准测试污染和公开基准测试饱和化会导致模型在特定任务上表现异常出色但无法泛化,厂商通过选择性报告策略制造差异。
待验证50%
9月11日
基准测试污染(Benchmark Contamination)是指模型在训练过程中有意或无意接触到评测集数据,从而在测试中获得虚高分数
待验证50%
8月26日
当测试题目可能已出现在训练数据中时,高分并不能真正代表泛化能力,这被称为基准污染
已验证65%