WorkflowArena：多智能体工作流编排能力基准评测

多智能体系统正成为大模型部署的主流形态，但模型自主编排工作流的能力长期缺乏系统评估。近期提出的 WorkflowArena 基准填补了这一空白，它通过 145 个长周期任务，首次将「工作流编排」作为独立能力进行量化，并揭示了不同模型在委派策略上的显著差异。

为什么工作流编排需要独立基准

当前的大模型智能体已不再局限于单次对话或单步推理。借助各类 agent harness，模型可以动态创建 worker 智能体，并编写可执行的工作流来协调它们。这意味着系统结构的设计权正从开发者转移到模型本身——模型在运行时决定是否委派、如何委派、以及如何组织多个智能体协同工作。

这种组织质量本身构成一种独立能力。然而现有基准要么只测量端到端任务完成度，要么在预先指定的协作结构下评估协调效果，都无法回答「模型自主设计的工作流好不好」这一问题。WorkflowArena 将这种能力形式化为 workflow orchestration，并围绕它构建了专门的评测框架。

agent harness 指包裹在基础大模型外层的运行时框架，负责把模型的文本输出转化为可执行动作，例如工具调用、文件读写、子进程创建与多智能体通信。它通常提供任务循环、上下文管理、权限控制与错误重试等机制，使模型能在运行中动态生成并调度 worker 智能体。正因 harness 把「创建子智能体、编写并执行工作流」的能力交给模型，系统结构的设计权才从开发者转移到模型自身；也正因不同 harness 的抽象层次和默认策略不同，同一模型在不同 harness 下可能表现出截然不同的委派行为，这也是评测需要把编排能力单独抽离出来的原因之一。

基准设计：长周期任务与隐藏验证器

WorkflowArena 包含 145 个长周期任务，覆盖 8 个专业领域，从软件工程、形式化数学到法律分析和 3D 制作。每个任务提供初始工作区和一个由相互依赖组件构成的综合交付物，最终由隐藏验证器进行评估。

关键设计在于：智能体自主决定是否以及如何委派，所有委派行为都被记录下来。这使得基准能够同时评估交付物质量和底层工作的组织方式——不仅看结果，也看过程。这种双重评估视角，是理解多智能体系统能力边界的重要一步。

长周期任务指无法通过单轮或少数几步交互完成、需要模型在较长时间跨度内规划、执行、检查并修正的任务。这类任务通常包含多个相互依赖的子目标，中间产物需要被保存和复用，且错误会沿依赖链累积放大。WorkflowArena 用「初始工作区 + 多组件综合交付物」来构造这种长周期结构：模型必须自行决定任务分解顺序、何时引入 worker 并行处理、以及如何整合各子单元的输出。隐藏验证器则在任务结束后对最终交付物做整体判定，避免模型针对可见测试过拟合，从而更真实地反映编排与执行的综合质量。

九模型实验：没有全能配置，委派策略分化明显

研究团队对九个模型进行了实验，发现两个值得关注的结论。

第一，没有任何单一配置在所有领域都表现最佳。不同模型在不同专业领域各有优劣，这意味着多智能体系统的选型需要结合具体任务场景，而非追求通用最优解。

第二，系统展现出截然不同的委派策略。在高投入模式下，Claude Code 中的 Claude 模型调用工作流的频率较低，但每次使用更大的 worker 组；而 Codex 中的 GPT 模型则更频繁地委派，但每个单元更小。这种策略差异反映了不同模型对任务分解和组织方式的偏好，也提示开发者：模型选择会实质性地改变系统的协作结构。

委派策略在这里指模型在编排工作流时对「是否创建 worker、创建多少、每个 worker 承担多大粒度子任务」所做的选择。可以把它理解为一个连续谱：一端是少量大粒度 worker，适合子任务耦合度高、需要全局上下文的情形；另一端是大量小粒度 worker，适合任务可清晰切分、并行收益明显的情形。两种策略各有代价——大 worker 组减少协调开销但单点失败影响面大，小 worker 组提高并行度却增加通信与整合成本。Claude 与 GPT 在高投入模式下的差异，正是这一权衡在模型层面的体现，也说明委派粒度本身会改变系统的协作拓扑与容错特性。

工作流组织本身是性能决定因素

更具启发性的发现来自固定执行模型的实验。在一组挑战性任务子集上，当执行模型保持不变时，由 Claude Opus 5.5 编写的工作流显著提升了较弱执行器的表现。

这一结果说明，工作流组织本身是可测量的任务性能决定因素——好的编排能够弥补执行能力的不足。对于多智能体系统的实践者而言，这意味着优化重点不应仅限于选择更强的执行模型，还应关注由谁、以何种方式设计工作流。编排质量与模型能力同等重要。

固定执行模型实验是一种控制变量设计：让同一个（通常较弱的）执行器在不同编排方案下运行相同任务，从而把「执行能力」与「编排质量」分离开来。若执行器不变而结果显著变化，差异就只能归因于工作流结构本身。这类实验借鉴了经典的多智能体与程序合成研究思路——把编排视为一种可独立优化的「程序」，执行器只是其运行时。它带来的实践含义是，编排层可以作为独立模块被训练、检索或复用，例如把高质量工作流沉淀为模板，再套用到能力较弱的执行模型上，从而以较低成本提升整体表现。

对多智能体系统开发的启示

WorkflowArena 的提出标志着多智能体评测从「结果导向」向「过程与结构导向」的延伸。其价值体现在三个层面：对研究者，它提供了可复现的编排能力度量；对开发者，它揭示了模型选型与委派策略之间的耦合关系；对模型厂商，它指出了编排质量作为独立优化维度的可能性。

随着 agent harness 让模型获得越来越多的系统设计权，如何评估和提升这种「组织能力」，将成为多智能体系统走向成熟的关键课题。WorkflowArena 迈出了系统化的一步。