待验证50% 置信权衡取舍精确时间
基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期
1
来源数
50%
置信度
长期有效
时效性
2026/8/16
首次发现
来源
相关事实
待验证在HumanEval等代码能力基准测试中，顶级大语言模型的通过率已超过90%77% 相似已验证代码生成模型在HumanEval等基准测试中的通过率从60%跃升至90%以上（2024-2025年间）77% 相似待验证当多个模型在MMLU、HumanEval等测试中均达到90%以上的正确率时，用户关注点转向推理延迟、服务可用性和总体拥有成本等实操指标73% 相似待验证HumanEval等标准化代码基准测试显示，顶级模型的pass@1得分已超过90%73% 相似待验证即使是最先进的代码生成模型，其生成代码的功能正确率也仅在60%-80%之间，而模型对自身输出正确性的自信度却往往高达90%以上73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/755767API
curl https://kongchang.com/api/v1/knowledge/claims/755767MCP
get_claim(id=755767)