待验证50% 置信基准精确时间
针对 HumanEval 的研究表明，当模型见过题目的不同代码实现时，其 pass@1 指标可能被高估 10-15%
1
来源数
50%
置信度
长期有效
时效性
2026/8/16
首次发现
来源
相关事实
待验证HumanEval等标准化代码基准测试显示，顶级模型的pass@1得分已超过90%72% 相似待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期72% 相似待验证研究表明，即使能力相对较弱的模型，其pass@10或pass@20的表现往往能够接近强模型的pass@1水平67% 相似待验证Anthropic在2024年的研究论文中量化了模型过度拒绝现象，发现经过安全训练的模型在某些场景下拒绝率高达15-30%属于误判65% 相似待验证当基准评分指标成为优化目标时会产生Goodhart定律效应，模型学会在特定格式上得高分而不一定真正提升能力，部分模型HumanEval得分超过95%但实际代码生成能力相差悬殊65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/757003API
curl https://kongchang.com/api/v1/knowledge/claims/757003MCP
get_claim(id=757003)