待验证50% 置信基准精确时间

SWE-bench要求模型在真实GitHub仓库中定位问题并生成可通过CI测试的补丁，以Resolve Rate作为核心指标

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

GPT-5.6真相解析：天体命名模型与第三方直连风险辨析

相关事实

待验证SWE-bench要求模型解决GitHub上真实的软件缺陷，是评估Agent级编程能力的权威基准81% 相似已验证SWE-bench直接使用真实的GitHub Issue作为测试题目，要求模型在完整代码仓库中定位并修复Bug81% 相似待验证SWE-bench要求模型解决GitHub上的真实issue，其通过率即便对最强模型也不超过50%80% 相似待验证SWE-bench要求模型从真实GitHub Issue出发自主完成代码修改并通过测试用例，比HumanEval更接近真实工程场景77% 相似已验证SWE-bench要求模型在真实GitHub仓库中定位并修复实际Issue77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/558663

API

curl https://kongchang.com/api/v1/knowledge/claims/558663

MCP

get_claim(id=558663)