待验证50% 置信事实精确时间
在SilCC数据集中，随着命名难度上升，所有参与者（人类和MLLM）的有效性均出现下降。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸69% 相似待验证学术界已有多项研究表明，在MMLU、HumanEval等主流基准上得分领先的模型，在同等难度的新颖题目上往往表现大幅下滑67% 相似待验证在 WOVEN 评测中，即便最强的 MLLM 也远低于人类水平，失败模式在不同模型家族中反复出现，单纯扩大模型规模并不能消除这些缺陷。67% 相似待验证一项针对GPT-4的研究显示，对MMLU题目进行语义等价改写后，模型准确率在部分子集上下降超过10个百分点65% 相似待验证部分疾病的识别准确率在合成过采样后甚至出现了下降。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1079455API
curl https://kongchang.com/api/v1/knowledge/claims/1079455MCP
get_claim(id=1079455)