前沿Agent如何操控机器人？EBench实测GPT-6-Astra

评测背景：MLLM能否直接操控机器人？

前沿多模态大模型（MLLM）已展现出无需机器人专项训练即可控制机器人的潜力，但它们与经过后训练的视觉-语言-动作（VLA）模型、世界动作模型（WAM）策略相比，能力边界究竟在哪里？这正是 EBench 评测报告试图回答的问题。

该报告以 GPT-6-Astra 为核心，构建了一个通过 agent harness 控制机器人的智能体，并采用与后训练策略完全相同的视觉和本体感知观察协议进行对比。研究考察了两种配置：直接控制（智能体直接生成路点指令）和带策略的 harness（智能体可调用后训练的 VLA 或 WAM 策略执行动作）。

VLA（Vision-Language-Action）模型是一类在机器人示教数据上后训练的多模态模型，输入视觉观测与语言指令，直接输出动作序列。与通用 MLLM 不同，VLA 通过大规模机器人轨迹微调，把「看懂场景」与「生成可执行动作」耦合在同一网络中，因而在接触密集、需要高频闭环反馈的操作上表现更稳。其代价是泛化受训练分布约束，遇到新物体或新场景时容易失效。

**WAM（World-Action Model）**则侧重学习环境动力学：模型预测动作将导致的未来观测变化，再据此规划动作。它通常借助视频预测或潜在动力学建模获得对物理后果的想象能力，在长时程任务里可以提供更连贯的行动依据，但推理开销与误差累积是其主要挑战。二者与通用 MLLM 的关键差异在于：它们经过动作空间对齐，输出直接落在机器人可控的指令空间内。

直接控制：长板突出，短板同样明显

在直接控制模式下，GPT-6-Astra 的总体表现与后训练策略相比具备竞争力，尤其在短时程任务上领先，并且在各泛化维度上的性能波动最小——这说明前沿 MLLM 在应对分布变化时具有较好的稳定性。

但短板同样清晰：在长时程任务、桌面操作以及高精度接触密集型任务上，它落后于后训练策略。这揭示了一个关键洞察——通用大模型擅长“理解与规划”，而精细的闭环控制仍依赖专门训练的机器人策略。

短时程与长时程任务的划分通常以完成目标所需的决策步数与子目标数量为准。短时程任务（如抓取指定物体、简单放置）只需少数几步动作，主要考验感知定位与单步决策，通用 MLLM 的语义理解优势足以覆盖。长时程任务（如整理桌面、按顺序完成多步操作）需要持续的子目标分解、状态跟踪与错误恢复，任何一步偏差都会向后累积，因此对闭环控制的精度与稳定性要求陡增，这正是未经机器人数据后训练的通用模型的薄弱环节。

接触密集型任务指装配、插拔、擦拭等需要精确力控与高频反馈的操作，其难点在于视觉分辨率不足以支撑亚厘米级对齐，必须依赖本体感知的实时调整，而通用 MLLM 的推理频率通常远低于此类任务所需的控制频率。

Harness+策略：互补协同，但有代价

当智能体被允许调用后训练的 VLA 或 WAM 策略时，两种组件的互补优势得以结合：整体任务成功率提升至最强对比策略的水平，同时token 成本显著降低。这意味着让大模型负责高层决策、让专用策略负责底层执行，是一条有前景的架构路径。

不过，该模式仍低于各组件单独运行时的逐任务性能上限。报告指出三个导致性能损耗的原因：策略调用不够优化、固定指令执行缺乏子目标分解、以及智能体恢复控制时对抓取的干扰。

Agent harness 指包裹在大模型外层的运行时框架，负责工具/策略的注册与调用、上下文管理、控制权在规划器与执行器之间的切换。在本评测中，harness 让 MLLM 可以把一段动作执行委托给 VLA 或 WAM 策略，并在策略返回后重新接管决策。所谓 token 成本，指智能体每步决策消耗的模型输入输出 token 总量；直接控制模式下模型需逐路点生成动作，序列长、成本高，而调用策略只需少数几条高层指令，因而总 token 消耗显著下降。

子目标分解是长时程任务的核心机制：把「整理桌面」拆为「找到杯子—抓取—移动到目标位—释放」等可独立执行的片段，使每段都落入短时程区间。缺少分解时，策略只能按固定整段指令执行，中途无法根据实际状态调整，这正是 harness 模式未达逐任务性能上限的原因之一。

能力边界与设计启示

这项研究刻画了前沿 MLLM 智能体的能力边界：它在短时程与泛化稳定性上有优势，但在长时程、高精度操作上仍需专用策略补位。对于未来的 agent harness 设计，报告建议从策略调用决策、子目标生成、控制权交接三个方向优化，以缩小与理论上限的差距。

更多细节可参考项目页面：https://internrobotics.github.io/EBench-Astra-Tech-Report/