概念Data Contamination / 数据污染
训练数据污染
AI评测中的重要问题，指训练语料中包含了评测题目或其解法，导致高分成绩仅反映记忆能力而非真实推理能力，影响评测结果的有效性
核心事实
时间轴 (近 90 天)
10月15日
训练数据污染是机器学习中的常见问题，指模型在训练阶段接触到了本不应包含的数据，可能导致模型学会模仿其他模型的回应模式。
待验证50%
9月22日
PsyAgentBench 采用多维度因子交叉设计，包括命名vs盲测、标准版vs反事实版、人格操纵，以对抗训练数据污染
待验证50%
9月12日
刷榜（Benchmark Gaming）在技术层面表现为训练数据污染、超参数针对性调优和输出格式迎合等形式
待验证50%
8月6日
数据投毒攻击是将恶意样本混入训练数据集，使模型在部署后对特定输入产生错误行为
已验证65%
全部知识事实 (6)
已验证
基准测试面临污染（Contamination）风险，若训练数据中包含测试题目或近似变体，模型高分可能部分源于背题而非真实能力
90%已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力
80%已验证数据投毒攻击是将恶意样本混入训练数据集，使模型在部署后对特定输入产生错误行为
65%待验证训练数据污染是机器学习中的常见问题，指模型在训练阶段接触到了本不应包含的数据，可能导致模型学会模仿其他模型的回应模式。
50%待验证PsyAgentBench 采用多维度因子交叉设计，包括命名vs盲测、标准版vs反事实版、人格操纵，以对抗训练数据污染
50%待验证刷榜（Benchmark Gaming）在技术层面表现为训练数据污染、超参数针对性调优和输出格式迎合等形式
50%