待验证50% 置信观点精确时间
SWE-bench 的分数被认为比 HumanEval 等传统代码生成基准更能反映智能体在生产环境中的实际能力
1
来源数
50%
置信度
长期有效
时效性
2026/9/18
首次发现
来源
涉及实体
相关事实
待验证代码生成领域的模型评估如HumanEval、SWE-bench格外强调功能正确性而非流畅度77% 相似待验证评估智能体编程能力的主流基准包括SWE-bench、SWE-bench Verified和HumanEval76% 相似待验证SWE-bench 涉及跨文件依赖分析、版本兼容性判断、回归测试通过等高阶能力，难度比 HumanEval 等写函数类基准更贴近真实工程场景69% 相似待验证一项代码生成研究发现，分阶段提示的准确率比一次性提示高得多67% 相似待验证SWE-bench相比HumanEval、MBPP等传统基准更贴近实际开发场景，考验模型对大型代码库的理解、跨文件依赖追踪和缺陷定位能力66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/932253API
curl https://kongchang.com/api/v1/knowledge/claims/932253MCP
get_claim(id=932253)