已验证80% 置信事实精确时间

基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中，导致得分反映记忆而非真实推理能力

7

来源数

80%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

基准测试即数据激活：让领域数据找到攀登方向

hackernewshackernews2026/7/3

相关事实

已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力77% 相似待验证数据泄漏分为目标泄漏和训练-测试污染两类，会导致模型性能被系统性高估74% 相似待验证成员推断攻击可通过困惑度检测数据污染：若模型对某段代码的困惑度显著低于同等复杂度代码，往往意味着该片段曾出现在训练集中73% 相似待验证模型微调的真正难点在于高质量训练数据的构建与清洗、防止灾难性遗忘，以及量化后的推理部署73% 相似待验证若将验证集或测试集数据纳入 fit，会造成数据泄露，导致模型评估结果过于乐观73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/223327

API

curl https://kongchang.com/api/v1/knowledge/claims/223327

MCP

get_claim(id=223327)