待验证50% 置信事实精确时间

HumanEval测试模型能否补全孤立的函数片段，而实际工程更常见的是在大型代码库中定位问题、理解业务逻辑并进行跨文件修改

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

LLM能力认知鸿沟正在扩大：我们对AI的理解为何分裂

涉及实体

HumanEvalconcept

相关事实

已验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性78% 相似待验证HumanEval等传统代码评测基准通常只要求模型根据函数签名和文档字符串生成独立函数，本质上是受限的代码补全任务76% 相似已验证代码生成领域的模型评估如HumanEval、SWE-bench格外强调功能正确性而非流畅度75% 相似已验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确75% 相似待验证让同一个Agent既生成代码又设计测试用例可能存在自证盲区，需要通过更严格的验证机制和人类抽检来平衡74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000353

API

curl https://kongchang.com/api/v1/knowledge/claims/1000353

MCP

get_claim(id=1000353)