待验证60% 置信事实时间未知

在HumanEval等代码能力基准测试中，顶级大语言模型的通过率已超过90%

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/5/31

首次发现

有效期至：2026/8/29

来源

Vibe Coding入门：产品经理零基础氛围编程指南

bilibiliAgent产品

涉及实体

HumanEvalconcept LLMconcept

相关事实

待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期77% 相似待验证HumanEval等标准化代码基准测试显示，顶级模型的pass@1得分已超过90%77% 相似待验证2025年的顶尖模型在HumanEval基准测试中的通过率已突破90%76% 相似待验证顶尖大语言模型在MMLU上的得分已普遍突破90%，导致该测试区分度正在下降75% 相似待验证发帖者指出编码任务中缓存命中率通常高达90%以上73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/4734

API

curl https://kongchang.com/api/v1/knowledge/claims/4734

MCP

get_claim(id=4734)