待验证50% 置信观点精确时间

当基准评分指标成为优化目标时会产生Goodhart定律效应，模型学会在特定格式上得高分而不一定真正提升能力，部分模型HumanEval得分超过95%但实际代码生成能力相差悬殊

1

来源数

50%

置信度

长期有效

时效性

2026/7/23

首次发现

来源

Qwen3 235B A22B实测：2.4万亿参数开源模型超越Claude Opus

相关事实

待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期71% 相似待验证即使是最先进的代码生成模型，其生成代码的功能正确率也仅在60%-80%之间，而模型对自身输出正确性的自信度却往往高达90%以上69% 相似待验证模型在标准化评测基准（如HumanEval、MMLU）上的高分表现与真实工作场景中的可靠性之间存在显著差距68% 相似待验证模型的基准分数更高并不等于在所有场景下都更好用67% 相似待验证研究表明高质量的提示词可以将模型输出准确率提高30%-50%66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/600091

API

curl https://kongchang.com/api/v1/knowledge/claims/600091

MCP

get_claim(id=600091)