已验证75% 置信事实时间未知

基准污染（Benchmark Contamination）是当前大模型评估领域面临的重要挑战，模型训练数据中可能已包含公开的测试题目导致评估结果失真

3

来源数

75%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Percy Liang确认出席CAIS 2026：AI安全与大模型评估的前沿对话

twitterJeffDean

涉及实体

Benchmark Contaminationconcept

相关事实

待验证2023年前后包括BIG-bench、HELM在内的多个学术benchmark被指出存在测试集污染问题，即模型训练数据中可能已包含评测题目导致成绩虚高78% 相似待验证Benchmark 失效的根本原因在于训练集污染与题库饱和两个问题76% 相似待验证数据泄漏分为目标泄漏和训练-测试污染两类，会导致模型性能被系统性高估74% 相似已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力74% 相似待验证'刷榜'（benchmark gaming）现象普遍存在，模型在训练或微调阶段可能接触过测试集相关数据，导致分数虚高但泛化能力不足73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/22964

API

curl https://kongchang.com/api/v1/knowledge/claims/22964

MCP

get_claim(id=22964)