基准EBench评测报告
EBench
评测多模态大模型作为智能体操控机器人能力的基准测试,对比通用MLLM与后训练VLA/WAM策略在直接控制和harness调用模式下的表现
时间轴 (近 90 天)
10月27日
EBench 评测报告以 GPT-6-Astra 为核心,构建了一个通过 agent harness 控制机器人的智能体,并采用与后训练策略完全相同的视觉和本体感知观察协议进行对比。
待验证50%
10月27日
在直接控制模式下,GPT-6-Astra 的总体表现与后训练策略相比具备竞争力,在短时程任务上领先,并且在各泛化维度上的性能波动最小。
待验证50%
10月27日
在直接控制模式下,GPT-6-Astra 在长时程任务、桌面操作以及高精度接触密集型任务上落后于后训练策略。
待验证50%
10月27日
当智能体被允许调用后训练的 VLA 或 WAM 策略时,整体任务成功率提升至最强对比策略的水平,同时 token 成本显著降低。
待验证50%
全部知识事实 (4)
待验证
EBench 评测报告以 GPT-6-Astra 为核心,构建了一个通过 agent harness 控制机器人的智能体,并采用与后训练策略完全相同的视觉和本体感知观察协议进行对比。
50%待验证在直接控制模式下,GPT-6-Astra 的总体表现与后训练策略相比具备竞争力,在短时程任务上领先,并且在各泛化维度上的性能波动最小。
50%待验证在直接控制模式下,GPT-6-Astra 在长时程任务、桌面操作以及高精度接触密集型任务上落后于后训练策略。
50%待验证当智能体被允许调用后训练的 VLA 或 WAM 策略时,整体任务成功率提升至最强对比策略的水平,同时 token 成本显著降低。
50%