待验证50% 置信事实精确时间

SWE-Bench主要依赖单元测试是否通过来判定任务成功与否，但通过测试并不等于代码质量过关

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

OpenAI弃用SWE-Bench Pro：AI编程评测的信任危机与未来走向

hackernewshackernews2026/7/8

相关事实

待验证SWE-bench 涉及跨文件依赖分析、版本兼容性判断、回归测试通过等高阶能力，难度比 HumanEval 等写函数类基准更贴近真实工程场景75% 相似待验证编程能力的评估通常参考HumanEval、MBPP、SWE-bench等标准化基准测试，但实际工程场景表现与基准测试结果存在差异73% 相似待验证突变测试（Mutation Testing）通过人为引入代码缺陷来检验测试用例是否真正有效72% 相似待验证跑分排名不等于所有场景的实际表现，具体任务仍需具体测试71% 相似待验证标准基准测试衡量的是单次工具调用的格式正确性，而真实的生产级Agent失败往往发生在多步序列之中71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/465781

API

curl https://kongchang.com/api/v1/knowledge/claims/465781

MCP

get_claim(id=465781)