待验证50% 置信事实精确时间

研究团队分析了47个公开发布的模型和74个以已知污染剂量微调的模型的逐条作答数据

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

基准污染夸大LLM分数，却难撼动排行榜排名

涉及实体

LLM基准评估研究concept

相关事实

待验证近期研究表明部分模型在已知被污染的基准子集上的表现比未污染子集高出10-15个百分点64% 相似待验证根据Cohen's d效应量标准，检测中等程度效应通常需要每组至少30—50个样本63% 相似待验证美团技术团队发布General 365推理评测基准，对26款主流大模型进行测试，大部分模型未能达到60分及格线63% 相似待验证Chinchilla论文通过对超过400个不同规模模型的系统性实验得出结论61% 相似待验证Scale AI的研究团队发现，部分模型在被污染的基准上的表现比在新编写的同等难度题目上高出10-15个百分点61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/900507

API

curl https://kongchang.com/api/v1/knowledge/claims/900507

MCP

get_claim(id=900507)