[控场AI]
基准EBench评测报告

EBench

评测多模态大模型作为智能体操控机器人能力的基准测试,对比通用MLLM与后训练VLA/WAM策略在直接控制和harness调用模式下的表现

时间轴 (近 90 天)

10月27日

EBench 评测报告以 GPT-6-Astra 为核心,构建了一个通过 agent harness 控制机器人的智能体,并采用与后训练策略完全相同的视觉和本体感知观察协议进行对比。

待验证50%
10月27日

在直接控制模式下,GPT-6-Astra 的总体表现与后训练策略相比具备竞争力,在短时程任务上领先,并且在各泛化维度上的性能波动最小。

待验证50%
10月27日

在直接控制模式下,GPT-6-Astra 在长时程任务、桌面操作以及高精度接触密集型任务上落后于后训练策略。

待验证50%
10月27日

当智能体被允许调用后训练的 VLA 或 WAM 策略时,整体任务成功率提升至最强对比策略的水平,同时 token 成本显著降低。

待验证50%

全部知识事实 (4)

来源文章