待验证50% 置信基准精确时间

Grok在编程专项基准测试（如HumanEval、MBPP）上与GPT-4o和Claude 3.5 Sonnet相比仍存在一定差距

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/3

首次发现

有效期至：2026/12/2

来源

OpenAI封杀Cursor：断供AI模型背后的编程工具生态战争

涉及实体

Grokmodel GPT-4omodel Claude 3.5 Sonnetmodel

相关事实

待验证GPT-5、Grok 4等模型在基准测试（如HumanEval、SWE-bench）上表现优异，但这些测试通常是单次代码生成，与需要多轮工具调用的真实工程任务存在显著差距76% 相似待验证DeepSeek系列在HumanEval、SWE-bench等公开基准测试中，部分编程任务得分与GPT-4o和Claude Sonnet旗鼓相当76% 相似待验证在SWE-bench软件工程任务基准测试上，Claude 3.5 Sonnet和GPT-4o的任务完成率远超开源模型74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/850118

API

curl https://kongchang.com/api/v1/knowledge/claims/850118

MCP

get_claim(id=850118)