待验证50% 置信事实精确时间
SWE-bench从主流Python开源项目提取真实GitHub Issue，要求模型生成能通过官方测试套件的代码补丁
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
已验证SWE-bench 由普林斯顿大学研究团队创建，从 GitHub 真实开源项目中抽取 issue，要求模型生成能通过测试用例的补丁82% 相似已验证SWE-bench直接使用真实的GitHub Issue作为测试题目，要求模型在完整代码仓库中定位并修复Bug80% 相似已验证SWE-bench直接从GitHub真实开源项目中提取issue和对应的pull request，要求AI系统理解问题描述、定位代码缺陷并生成正确的修复补丁80% 相似待验证SWE-bench要求模型从真实GitHub Issue出发自主完成代码修改并通过测试用例，比HumanEval更接近真实工程场景79% 相似待验证Simon Willison的TRE Python绑定实验代码已开源在GitHub上76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/503437API
curl https://kongchang.com/api/v1/knowledge/claims/503437MCP
get_claim(id=503437)