待验证50% 置信事实精确时间
学术界通常用MMLU、HumanEval等基准来量化模型的能力衰退
1
来源数
50%
置信度
长期有效
时效性
2026/9/16
首次发现
来源
涉及实体
相关事实
待验证标准化基准测试（如MMLU、HumanEval、GSM8K）往往无法完全反映AI模型在真实应用场景中的表现67% 相似待验证当一个衡量指标变成目标，它就不再是一个好的衡量指标（Goodhart定律），当行业围绕MMLU、HumanEval、MATH等基准竞赛时这些测试被过度优化67% 相似待验证学术界将模型宁可捏造也不承认无知的现象称为'sycophancy'（谄媚性）63% 相似待验证任何试图用纯量化指标解释人类行为的分析都可能因忽略难以测量的效用维度而得出偏差结论63% 相似待验证2023年斯坦福大学研究指出，某些被认为是涌现的能力可能是评估指标选择的伪影，而非模型能力的真正质变63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/927426API
curl https://kongchang.com/api/v1/knowledge/claims/927426MCP
get_claim(id=927426)