待验证50% 置信事实精确时间

近期研究表明部分模型在已知被污染的基准子集上的表现比未污染子集高出10-15个百分点

1

来源数

50%

置信度

长期有效

时效性

2026/9/8

首次发现

来源

LLM性能漂移：31352次测量揭示API模型稳定性真相

涉及实体

benchmark contaminationconcept

相关事实

待验证Scale AI的研究团队发现，部分模型在被污染的基准上的表现比在新编写的同等难度题目上高出10-15个百分点79% 相似待验证研究表明即使是轻微的数据污染也可能导致评测分数虚高5-15个百分点77% 相似待验证研究表明即使是部分污染（模型只见过题目而非答案），也可能显著提升得分75% 相似待验证2024年多项研究发现，部分模型在去污染版本的评测集上得分下降幅度可达10-20个百分点71% 相似待验证靶向数据工程中，针对性数据占总微调数据的 5%-15% 通常能取得良好效果，过高比例可能导致模型在其他维度退化67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/876177

API

curl https://kongchang.com/api/v1/knowledge/claims/876177

MCP

get_claim(id=876177)