待验证50% 置信基准精确时间

在Matt Mayer的独立基准测试中，Opus模型在Claude Code中的得分为77%，在Cursor中的得分为93%，唯一变量是Harness

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/9

首次发现

有效期至：2026/10/7

来源

60行Python揭秘Claude Code Harness原理：AI编程工具性能差异的核心

bilibili7k的每日搬运2026/7/7

相关事实

待验证使用Claude Code配合默认Opus 4.7模型处理投资者信息提取任务，准确率通常在90%到95%之间63% 相似待验证即使是最先进的代码模型，在声称'代码已通过测试'时，实际通过率也可能低于70%63% 相似待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期62% 相似待验证Devin 2.0在SWE-bench基准测试中解决了13.86%的实际编程问题，而此前的AI模型仅为1.96%61% 相似待验证据统计，Claude Code用户93%的时候都选择批准操作请求，导致严重的审批疲劳61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/400623

API

curl https://kongchang.com/api/v1/knowledge/claims/400623

MCP

get_claim(id=400623)