待验证50% 置信观点精确时间
在SWE-bench和HumanEval等代码生成基准测试中，国产模型与Claude 3.5/4、GPT-4等仍存在差距，尤其在复杂多文件重构、跨语言代码转换等高难度任务上差距更为明显
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至：2026/9/30
来源
Kimi Code开源实测：安装体验、功能对比与使用成本分析
bilibili鲲鹏Talk2026/6/9
相关事实
待验证GPT-5、Grok 4等模型在基准测试（如HumanEval、SWE-bench）上表现优异，但这些测试通常是单次代码生成，与需要多轮工具调用的真实工程任务存在显著差距80% 相似待验证GPT-4、Claude等模型的能力边界覆盖了文字生成、代码编写、信息综合等典型白领入门级任务77% 相似待验证GPT-4、Claude等大语言模型在预训练阶段消化了海量软件工程文档、测试规范和历史缺陷报告，天然理解等价类划分、边界值分析等经典测试设计方法77% 相似待验证Claude系列在多项基准测试中展现出与GPT-4不相上下甚至超越的能力，尤其在代码生成和长文本理解等场景中优势明显77% 相似待验证Meta的Llama 3.1系列、DeepSeek-V3、阿里的Qwen2.5-Coder等开源模型在HumanEval、SWE-bench等代码生成基准上与GPT-4级别模型差距显著收窄76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/46886API
curl https://kongchang.com/api/v1/knowledge/claims/46886MCP
get_claim(id=46886)