数据污染
大语言模型预训练阶段将基准测试数据纳入训练语料，导致模型在评测时「回忆答案」而非真正理解问题，造成跑分虚高的现象
核心事实
时间轴 (近 90 天)
训练数据中混入基准题目会导致模型在跑分上作弊式地好看，业内称为数据污染或benchmark调优。
李克特量表在不同评分者对同一等级理解差异大时会导致评分者间信度不稳定，且单一数字无法承载具体好坏维度的信息。
由于互联网上存在大量对基准题目的讨论，模型训练时可能已见过答案，导致测试分数虚高，即'污染问题'
构建评估集的难点在于覆盖边界案例、避免数据污染，以及保证评估标准与真实业务价值的对齐
部分研究者尝试通过构建'未来数据集'或动态生成新题来缓解数据污染问题，但这类方法尚未成为行业标准
基准测试取得满分可能存在三种原因：能力突破、数据污染、评测配置或版本变化
基准污染指评测题目已进入模型训练数据，导致模型在'背答案'而非真正推理，使评测分数虚高且无法反映实际能力
数据污染（data contamination）指测试题目已出现在预训练语料中，导致模型高分表现更接近记忆而非推理
使用尚未发表的论文可以降低模型在训练数据中见过答案的数据污染风险
基于开源代码库的评测存在数据污染问题，因为这些代码库可能已被纳入大模型的训练数据
还有 5 条时间轴事件
全部知识事实 (19)
当模型训练数据包含评测集题目或高度相似内容时，模型可能通过记忆而非真正理解获得高分
80%已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力
80%已验证基准污染指评测题目已进入模型训练数据，导致模型在'背答案'而非真正推理，使评测分数虚高且无法反映实际能力
75%已验证数据污染（data contamination）指测试题目已出现在预训练语料中，导致模型高分表现更接近记忆而非推理
75%已验证数据污染（data contamination）指模型在训练过程中已经见过测试集中的数据，导致评测成绩虚高
75%已验证数据泄漏分为目标泄漏和训练-测试污染两类，会导致模型性能被系统性高估
65%待验证大型语言模型的训练语料可能包含未正式发表的学术预印本、研究笔记等，引发数据污染问题
60%待验证训练集污染是当前AI基准评测领域的核心争议，模型可能通过记忆而非推理答题导致结果虚高
60%待验证训练数据中混入基准题目会导致模型在跑分上作弊式地好看，业内称为数据污染或benchmark调优。
50%待验证李克特量表在不同评分者对同一等级理解差异大时会导致评分者间信度不稳定，且单一数字无法承载具体好坏维度的信息。
50%待验证由于互联网上存在大量对基准题目的讨论，模型训练时可能已见过答案，导致测试分数虚高，即'污染问题'
50%待验证构建评估集的难点在于覆盖边界案例、避免数据污染，以及保证评估标准与真实业务价值的对齐
50%待验证部分研究者尝试通过构建'未来数据集'或动态生成新题来缓解数据污染问题，但这类方法尚未成为行业标准
50%待验证基准测试取得满分可能存在三种原因：能力突破、数据污染、评测配置或版本变化
50%待验证使用尚未发表的论文可以降低模型在训练数据中见过答案的数据污染风险
50%待验证基于开源代码库的评测存在数据污染问题，因为这些代码库可能已被纳入大模型的训练数据
50%待验证数据污染的危害程度与模型的记忆容量正相关，容量受限的小模型即使接触污染数据也无从受益
50%待验证数据污染问题指模型可能在训练阶段已见过研究者尚未正式发表的思路或部分证明
50%待验证如果模型在预训练时记住了污染基准的答案，压缩上下文中的信息损失不会影响性能，使得报告的'无损压缩'结论失去意义
50%