SWE-CoWork
SWE-CoWork 是一个用于评估编程智能体在模拟软件工程组织中完成端到端任务能力的基准测试,包含101个开发任务,覆盖101个真实代码仓库、11种编程语言和12个应用领域,强调沟通、需求追踪与验证等协作环节。
时间轴 (近 90 天)
SWE-CoWork 是一个用于衡量编程智能体'数字员工'能力的基准测试,包含101个开发任务,覆盖101个真实代码仓库、11种编程语言和12个应用领域。
SWE-CoWork 的每个任务模拟一个工程组织,智能体周围有26位同事,他们各有明确的职责、有限的知识边界和被刻意控制的协作行为。
在 SWE-CoWork 评测中,表现最好的两个模型能通过约63%的 fail-to-pass(F2P)测试,但完整完成的任务不足8%。
研究团队在 SWE-CoWork 上评测了11个模型。
对照实验显示,向模型提供完整需求后,Seed Evolving 和 GPT-6 Astra 的 F2P 通过率提升了约16个百分点,但完整任务成功率没有任何变化。
在需求层面轨迹分析中,Claude-Opus-5.5 平均能把93%的首次提问准确地指向所查询卡片的负责人,但最终只拿到了64%的由同事掌握的需求。
在 SWE-CoWork 轨迹分析中,模型报告为已完成的需求中有31%无法通过测试。
SWE-CoWork 中智能体的失败贯穿澄清、实现、验证和交接全过程,包括被推迟的问题没有后续跟进、已获取需求实现不完整、自认为完成的改动未经测试。
对希望将编程智能体作为数字员工部署的团队而言,评估标准应关注智能体能否从头到尾跟进一项任务,而不仅是修复 bug 的数量。
全部知识事实 (9)
SWE-CoWork 是一个用于衡量编程智能体'数字员工'能力的基准测试,包含101个开发任务,覆盖101个真实代码仓库、11种编程语言和12个应用领域。
50%待验证SWE-CoWork 的每个任务模拟一个工程组织,智能体周围有26位同事,他们各有明确的职责、有限的知识边界和被刻意控制的协作行为。
50%待验证在 SWE-CoWork 评测中,表现最好的两个模型能通过约63%的 fail-to-pass(F2P)测试,但完整完成的任务不足8%。
50%待验证研究团队在 SWE-CoWork 上评测了11个模型。
50%待验证对照实验显示,向模型提供完整需求后,Seed Evolving 和 GPT-6 Astra 的 F2P 通过率提升了约16个百分点,但完整任务成功率没有任何变化。
50%待验证在需求层面轨迹分析中,Claude-Opus-5.5 平均能把93%的首次提问准确地指向所查询卡片的负责人,但最终只拿到了64%的由同事掌握的需求。
50%待验证在 SWE-CoWork 轨迹分析中,模型报告为已完成的需求中有31%无法通过测试。
50%待验证SWE-CoWork 中智能体的失败贯穿澄清、实现、验证和交接全过程,包括被推迟的问题没有后续跟进、已获取需求实现不完整、自认为完成的改动未经测试。
50%待验证对希望将编程智能体作为数字员工部署的团队而言,评估标准应关注智能体能否从头到尾跟进一项任务,而不仅是修复 bug 的数量。
50%