待验证50% 置信事实精确时间
SWE-bench采用端到端评测模式：给定一个GitHub issue，Agent自主操作代码仓库，以能否通过该issue对应的测试用例作为唯一评判标准
1
来源数
50%
置信度
长期有效
时效性
2026/9/21
首次发现
来源
涉及实体
相关事实
待验证SWE-bench Verified 的评分机制依赖自动化测试套件，模型提交代码补丁后系统运行预定义单元测试来判断是否通过77% 相似待验证SWE-bench测试样本取自真实GitHub仓库的历史Issue，评分标准是能否通过仓库原有的完整测试套件77% 相似待验证SWE-bench基准测试已成为评估AI Agent代码能力的行业标准，包含从真实GitHub仓库中提取的软件工程任务76% 相似已验证SWE Bench是由普林斯顿大学提出的软件工程基准测试，专门评估AI模型解决真实GitHub Issue的能力72% 相似待验证HumanEval、SWE-bench等代码评测基准的排名是评估执行型Agent底层模型选型的重要参考维度72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/939130API
curl https://kongchang.com/api/v1/knowledge/claims/939130MCP
get_claim(id=939130)