[控场AI]
基准

WorldOracle

用于评估动作条件世界模型的基准,通过将模型预测的 rollout 与真实机器人执行同一动作序列的录像逐帧对照,从物理结果、空间对齐、视觉保真度和跨视角动作一致性四个维度衡量预测的物理忠实度

时间轴 (近 90 天)

11月7日

WorldOracle 是一个将动作条件世界模型的预测 rollout 与真实机器人执行同一动作序列的录像逐帧对照的基准。

待验证50%
11月7日

WorldOracle 的对比基准是真实物理世界执行结果,而非另一段生成的视频。

待验证50%
11月7日

WorldOracle 的评估维度包括四类:物理结果、交互过程中的空间对齐、交互区域的视觉保真度、跨视角的动作一致性。

待验证50%
11月7日

在 WorldOracle 中,如果某个动作导致真实抓取失败,模型复现这个失败才被判为正确预测;若模型生成看起来成功的拾取,则在结果维度上判错。

待验证50%
11月7日

WorldOracle 项目团队在 Reddit 帖子结尾公开征求机器人学习和学习动力学领域研究者的反馈,询问评估覆盖了什么、还希望额外测试什么。

待验证50%
11月7日

WorldOracle 的定位是动作条件世界模型的对照评测,而非通用视频生成评测,关心的是模型作为机器人内部模拟器的可信度。

待验证50%

全部知识事实 (6)

来源文章