待验证50% 置信基准精确时间

SWE-bench要求模型解决GitHub上真实的软件缺陷，是评估Agent级编程能力的权威基准

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

BatonBot：看板式管理AI编程Agent的开源工具

相关事实

待验证SWE-bench从真实GitHub Issues中提取任务，要求模型修复主流开源项目的真实Bug，被视为衡量实际解决工程问题能力的黄金标准82% 相似待验证SWE-bench评估模型解决真实GitHub Issue的能力，被认为比HumanEval更贴近Agent实际工作场景82% 相似待验证SWE-bench要求模型在真实GitHub仓库中定位问题并生成可通过CI测试的补丁，以Resolve Rate作为核心指标81% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/564993

API

curl https://kongchang.com/api/v1/knowledge/claims/564993

MCP

get_claim(id=564993)