待验证50% 置信事实精确时间
去污染后模型在 HumanEval 上为 22.6%，HumanEval+ 上为 21.3%，MBPP 上为 35.0%；相比已发布版，HumanEval 下降 4.3 分，McNemar 检验 p = 0.039。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证去污染模型在“在已移除数据中”和“不在已移除数据中”两个 HumanEval 子集上都比两次原始数据运行的均值低了约 4 分，说明污染机制不是记忆，而是普遍提升了模型在 HumanEval 风格题目上的表现。67% 相似待验证发布的checkpoint按块大小16训练，若将采样块大小改为64，HumanEval从76%跌至约20%，GSM8K从高位跌到2.2%65% 相似待验证基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸63% 相似待验证2024年多项研究发现，部分模型在去污染版本的评测集上得分下降幅度可达10-20个百分点63% 相似待验证开发者搭建了 ishuman 基准，在该测试中 2.0 被判断为真人的比例为 23.5%，基础模型 abliterated 为 0.3%，官方原版为 15.1%，底座加提示为 6.8%61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013060API
curl https://kongchang.com/api/v1/knowledge/claims/1013060MCP
get_claim(id=1013060)