待验证50% 置信事实精确时间
长周期编码基准测试（如SWE-bench）考察模型处理软件仓库级别任务的能力，包括读取代码库、定位Bug、跨文件修改并通过测试
1
来源数
50%
置信度
长期有效
时效性
2026/10/9
首次发现
来源
涉及实体
相关事实
待验证在 SWE-bench 等编码能力基准测试中，参赛系统通常需要自主完成读取代码库、理解 Issue、定位文件、修改代码、运行测试的完整流程79% 相似待验证验证编码模型的可操作方法是选一个带测试的真实修复任务，固定仓库版本和工具权限，让候选模型完成同一任务并对比首次通过率、补丁可读性、单次成本和人工接管次数74% 相似待验证SWE-bench相比HumanEval、MBPP等传统基准更贴近实际开发场景，考验模型对大型代码库的理解、跨文件依赖追踪和缺陷定位能力73% 相似待验证基准测试通常在受控环境中运行，不涉及长对话中的上下文管理、用户偏好记忆、与现有代码库风格一致性等维度73% 相似待验证SWE-bench 涉及跨文件依赖分析、版本兼容性判断、回归测试通过等高阶能力，难度比 HumanEval 等写函数类基准更贴近真实工程场景72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/990172API
curl https://kongchang.com/api/v1/knowledge/claims/990172MCP
get_claim(id=990172)