概念data contamination / 数据污染
测试集污染
指评测数据集中的样本在模型训练阶段已被模型接触过,导致模型通过记忆而非推理获得高分,从而高估模型真实能力的一种现象。
时间轴 (近 90 天)
9月19日
应对测试集污染的手段包括定期更新测试题库、使用私有或动态生成的测试集、以及通过统计方法检测异常得分分布
待验证50%
指评测数据集中的样本在模型训练阶段已被模型接触过,导致模型通过记忆而非推理获得高分,从而高估模型真实能力的一种现象。
应对测试集污染的手段包括定期更新测试题库、使用私有或动态生成的测试集、以及通过统计方法检测异常得分分布