已过期60% 置信基准精确时间

现代代码生成模型已能在HumanEval等权威代码基准测试上取得超过90%的一次性通过率

2

来源数

60%

置信度

中期 (~90 天)

时效性

2026/7/15

首次发现

有效期至：2026/10/13(已过期)

来源

Vibe Coding实战：6款AI编程工具横评与选型指南

相关事实

已验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确68% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率67% 相似已验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性65% 相似待验证Human-in-the-Loop架构中系统通常自动处理高置信度文档（约占总量的70%-90%），将低置信度文档路由给人工审核65% 相似已验证HumanEval由OpenAI自研，专门测试代码生成的功能正确率64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/520777

API

curl https://kongchang.com/api/v1/knowledge/claims/520777

MCP

get_claim(id=520777)