待验证50% 置信解决方案精确时间
SWE-Race的每个任务由项目自带的测试用例评分,运行在无网络连接的容器中,仓库被削减到单个commit以防止从git历史找回修复方案
1
来源数
50%
置信度
长期有效
时效性
2026/10/6
首次发现
来源
涉及实体
相关事实
待验证在 SWE-bench 等编码能力基准测试中,参赛系统通常需要自主完成读取代码库、理解 Issue、定位文件、修改代码、运行测试的完整流程69% 相似待验证团队提案增加专门测试,按名字逐一列举链条上每个环节,断言每个都存在于注册路径、确实运行、并在其测试对象被禁用时失败68% 相似待验证SWE-Race 是针对并发Bug的AI编程基准测试,从约100个Python项目已合并的PR中提取了188个真实的并发缺陷67% 相似待验证让模型负责编写符合目标库接口的 harness 代码、分析崩溃堆栈,是当前模糊测试最耗费人力的瓶颈环节66% 相似待验证SWE-bench采用端到端评测模式:给定一个GitHub issue,Agent自主操作代码仓库,以能否通过该issue对应的测试用例作为唯一评判标准66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/980430API
curl https://kongchang.com/api/v1/knowledge/claims/980430MCP
get_claim(id=980430)