待验证70% 置信观点精确时间
GPT-5、Grok 4等模型在基准测试（如HumanEval、SWE-bench）上表现优异，但这些测试通常是单次代码生成，与需要多轮工具调用的真实工程任务存在显著差距
1
来源数
70%
置信度
长期有效
时效性
2025/9/18
首次发现
来源
AI编程实测：GPT-5、Gemini 2.5 Pro、Kimi K2、Grok4爬虫任务全部失败
bilibili图动中国2025/9/18
涉及实体
相关事实
待验证GPT-5在HumanEval、SWE-bench等主流编程基准测试上相比前代模型表现大幅提升81% 相似待验证在SWE-bench和HumanEval等代码生成基准测试中，国产模型与Claude 3.5/4、GPT-4等仍存在差距，尤其在复杂多文件重构、跨语言代码转换等高难度任务上差距更为明显80% 相似待验证据素材，GPT-5.6的多智能体（Multi-Agent）能力进入测试版80% 相似待验证GPT-4等模型可根据接口文档或需求描述自动生成结构化测试用例，覆盖边界值和异常路径78% 相似待验证GPT-5.6在编写或修改代码时会更频繁地调用Skills、执行本地命令查看文件、检查运行环境、进行测试验证77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1307API
curl https://kongchang.com/api/v1/knowledge/claims/1307MCP
get_claim(id=1307)