[控场AI]
· 4 分钟阅读· 2,167 字

SWE-CoWork:编程智能体为何难当"数字员工"?

SWE-CoWork:编程智能体为何难当"数字员工"?

SWE-CoWork 基准揭示:编程智能体能改对代码,却几乎完不成完整任务。

SWE-CoWork 是一个模拟真实软件组织的编程智能体基准,包含 101 个任务、101 个真实仓库、11 种语言和 12 个领域,每个任务中智能体需与 26 位职责有限的同事协作澄清需求。评测 11 个模型后发现,表现最好的模型能通过约 63% 的 fail-to-pass 测试,但完整完成任务的比例不足 8%。对照实验显示,即便直接提供完整需求,F2P 通过率提升约 16 个百分点,完整任务成功率却毫无变化,说明瓶颈在于信息到手后的处理与落地。轨迹分析进一步表明失败贯穿澄清、实现、验证与交接全过程,持续的需求追踪与状态维护才是可靠自主编程的关键。

编程智能体在真实软件组织中要面对的,远不止写代码这一件事。它需要弄清楚该做什么、找对的人问清楚需求、在冲突信息中做判断,最后还得确保交付物真的通过测试。SWE-CoWork 正是为衡量这种"数字员工"能力而设计的基准测试,其结果揭示了一个尴尬的现实:模型能写对大部分代码,却几乎完不成一整项任务。

SWE-CoWork 基准测试来源示意

一个更接近真实职场的测试场

SWE-CoWork 包含 101 个开发任务,覆盖 101 个真实代码仓库、11 种编程语言和 12 个应用领域。与常见的单轮编程评测不同,每个任务都把智能体放进一个模拟的工程组织里:周围有 26 位同事,他们各有明确的职责、有限的知识边界,以及被刻意控制的协作行为。

智能体拿到手的只是一份简短的交接说明,真正的需求散落在同事和工作记录中。它必须主动询问、交叉核对、处理互相矛盾的证据,最后提交改动,由私有的可执行测试来判定成败。这套设定把"沟通"和"需求追踪"变成了硬性考核项,而不是可有可无的加分项。

分差悬殊:代码写得出,任务交不了

研究团队评测了 11 个模型,最核心的发现是部分实现与完整交付之间存在巨大鸿沟。表现最好的两个模型能通过约 63% 的 fail-to-pass(F2P)测试,但完整完成的任务不足 8%。

这个对比很能说明问题:模型在"把某段逻辑改对"这件事上已经相当熟练,可一旦要求它从头到尾把一个任务闭环,成功率就断崖式下跌。F2P 测试衡量的是修复是否生效,而完整任务成功还要求需求理解、范围界定和验证环节都不掉链子。

fail-to-pass(F2P)测试是软件工程评测中常用的一类测试用例:在修复前运行失败(fail),在正确修改后应当通过(pass)。它直接检验一次代码改动是否真正解决了目标缺陷,而不关心仓库中其他已有测试的状态。相比端到端验收,F2P 测试只覆盖“修复是否生效”这一局部信号,因此常被用作衡量代码修改正确性的细粒度指标。但它的局限也很明显:通过 F2P 并不等于需求被完整实现,也不代表改动与协作流程中的交接、验证环节没有问题。SWE-CoWork 正是利用 F2P 与完整任务成功之间的差值,来暴露模型“会改代码、不会交付任务”的能力断层。

需求给全了,为什么还是完不成?

一个看似合理的假设是:模型失败是因为需求拿不全。于是研究者做了对照实验,把完整需求直接提供给模型。结果显示,Seed Evolving 和 GPT-6 Astra 的 F2P 通过率提升了约 16 个百分点,但完整任务成功率没有任何变化。

这条证据很有分量。它意味着瓶颈不只在信息获取端,更在信息到手之后的处理与落地。需求摆在面前,模型依然可能在实现、验证或交接环节出问题。

追踪轨迹:失败发生在每一步

对需求层面轨迹的分析进一步拆解了失败发生的位置。Claude-Opus-5.5 在多轮运行中,平均能把 93% 的首次提问准确地指向所查询卡片的负责人,这个"找对人"的能力相当不错。但它最终只拿到了 64% 的由同事掌握的需求。

更有意思的是几类系统性问题:被推迟的问题没有后续跟进;即便需求已经获取,实现仍然不完整;报告为已完成的需求中,有 31% 无法通过测试。也就是说,失败不是集中在某一个环节,而是贯穿了澄清、实现、验证和交接的全过程。

需求层面轨迹指的是智能体在任务过程中与同事交互、获取和确认需求所形成的完整行为序列,包括向谁提问、问了什么、是否跟进延期问题、何时认定需求已获取等。与只考察最终代码 diff 的评测不同,轨迹分析把智能体的沟通与决策过程本身当作评估对象,可以定位失败究竟发生在澄清、实现、验证还是交接环节。这种分析依赖对每一轮对话与工具调用的结构化记录,能够区分“没问到”与“问到了但没用上”这两类性质完全不同的失败,从而为改进智能体的状态维护能力提供可操作的诊断依据。

对自主编程的启示

SWE-CoWork 的价值在于它把"软件工程"还原成了它本来的样子——一项依赖持续沟通和需求追踪的协作活动。当前模型在单点能力上表现亮眼,却缺乏贯穿任务始终的状态维护能力:问过的问题要记得跟进,拿到的需求要落实到代码,写好的代码要自己验证。

对希望把编程智能体当作数字员工部署的团队来说,这个基准提示了一个务实的判断标准:别只看它能修多少 bug,要看它能否把一项任务从头跟到尾。持续的需求追踪,从澄清到实现、验证与交接,才是可靠自主软件工程的关键挑战。

状态维护能力是自主智能体在长程任务中保持对目标、已知信息与待办事项一致认知的能力。在 SWE-CoWork 这类多轮协作场景里,智能体需要记住哪些问题尚未得到答复、哪些需求已经确认、哪些改动还有待验证,并在后续步骤中主动回溯这些状态。缺乏状态维护会导致典型问题:被推迟的提问无人跟进、已获取的需求没有落实到实现、自认为完成的改动未经测试就交付。这与单轮代码生成所需的能力有本质区别——后者只需在有限上下文内产出正确片段,而前者要求在跨越多次交互的时间线上持续对齐目标与证据。

#SWE-CoWork#编程智能体#数字员工#AI编程基准测试#自主软件工程#需求追踪#F2P测试
分享:

相关推荐