待验证50% 置信观点精确时间
HumanEval题目样本量有限且已被大量训练数据覆盖，导致部分模型存在测试集泄露的嫌疑
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证预处理泄漏在小数据集上尤为显著，当训练集仅有数百张图像时加入测试集样本会明显改变均值和标准差估计78% 相似待验证在稠密检索中，批内负样本训练要求批次包含有信息量的负样本，随机采样会导致训练损失快速收敛但泛化性能差77% 相似待验证危险能力评估中测试集的覆盖度、更新频率和保密性之间存在天然张力：过于公开的测试集会被纳入训练数据而失效，过于保密的测试缺乏同行评议可信度75% 相似已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力74% 相似待验证研究人员通过n-gram重叠分析和成员推断攻击可判断特定数据是否出现在模型训练集中，但存在误报率偏高的局限74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/976192API
curl https://kongchang.com/api/v1/knowledge/claims/976192MCP
get_claim(id=976192)