Unverified70% confidenceOpinionExact time
GPT-5、Grok 4等模型在基准测试（如HumanEval、SWE-bench）上表现优异，但这些测试通常是单次代码生成，与需要多轮工具调用的真实工程任务存在显著差距
1
Sources
70%
Confidence
Long-term
Relevance
9/18/2025
First Seen
Sources
AI编程实测：GPT-5、Gemini 2.5 Pro、Kimi K2、Grok4爬虫任务全部失败
bilibili图动中国9/18/2025
Related Entities
Related Claims
UnverifiedGPT-5在HumanEval、SWE-bench等主流编程基准测试上相比前代模型表现大幅提升81% similarUnverified在SWE-bench和HumanEval等代码生成基准测试中，国产模型与Claude 3.5/4、GPT-4等仍存在差距，尤其在复杂多文件重构、跨语言代码转换等高难度任务上差距更为明显80% similarUnverified据素材，GPT-5.6的多智能体（Multi-Agent）能力进入测试版80% similarUnverifiedGPT-4等模型可根据接口文档或需求描述自动生成结构化测试用例，覆盖边界值和异常路径78% similarUnverifiedGPT-5.6在编写或修改代码时会更频繁地调用Skills、执行本地命令查看文件、检查运行环境、进行测试验证77% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/1307API
curl https://kongchang.com/api/v1/knowledge/claims/1307MCP
get_claim(id=1307)