JEPA世界模型致命缺陷：动作排序失败被重规划掩盖

无奖励世界模型的核心假设遭遇挑战

无奖励潜在世界模型（Reward-free latent world models）通过在冻结的潜在空间中计算距离来评估候选动作：如果某个动作预测的未来嵌入更接近目标嵌入，该动作就会被优先选择。这个规划策略隐含了一个关键假设——潜在空间的接近度可以用于动作排序。

然而，最新研究对这一假设提出了质疑。研究团队开发了ARC-Bench基准测试，专门审计JEPA（Joint-Embedding Predictive Architecture）风格的世界模型是否能正确排序候选动作。测试结果显示：这个基础假设在多个任务场景中都出现了系统性失败。

ARC-Bench研究概览

研究团队对官方发布的JEPA-WM检查点进行了全面审计，覆盖导航和操控类控制任务。实验结果揭示了一个严重问题：

在官方操控任务审计中，得分最高的候选动作几乎总是次优的。同样的反转现象也出现在迷宫导航任务中。这不是个别案例，而是一种系统性缺陷。

为了排除视觉编码器的影响,研究团队用视频预训练的V-JEPA 1和V-JEPA 2编码器（ViT-L/ViT-G规模）替换了DINOv2,结果显示缺陷依然存在。这表明问题根源在于JEPA架构本身的表征能力,而非特定的视觉编码器选择。

研究还排除了模型来源、训练不足、匹配预算的骨干网络控制、度量循环性控制等简单解释,表明问题更加根本和深层。

更关键的发现是：闭环重规划（closed-loop replanning）掩盖了这个缺陷。这解释了为什么这个严重问题一直未被发现。

当研究团队降低规划器的重规划频率时,导航和操控任务的成功率都出现了崩溃式下降。进一步分析显示,那些依赖频繁重规划才能成功的情节（episode）,在PointMaze首次规划诊断中恰好富集了严重的首次规划排序失败案例。

这揭示了一个关键机制：系统通过不断纠错来弥补潜在表征的排序能力不足。每次重规划都是一次修正机会,让模型可以在错误的初始排序基础上逐步接近正确方向。因此,闭环成功率系统性地高估了冻结潜在表征的可排序性。

ARC-Bench提供了一个无泄漏、固定候选的测试协议,专门测量冻结的JEPA风格目标函数是否能正确排序候选动作。这个基准的关键特点包括：

传统评估往往只关注最终任务成功率,却忽视了中间规划步骤的质量。ARC-Bench填补了这个空白,为评估世界模型提供了新视角。

这项研究对构建可靠的世界模型和规划系统很关键：

评估方法论需要升级：闭环成功率作为单一评估指标存在严重局限。研究者需要开发更细粒度的诊断工具,直接测量模型的核心能力假设是否成立。

JEPA架构需要重新审视：仅仅依靠潜在距离来指导动作选择是不够的,需要探索新的表征学习目标或规划算法。

重规划策略的隐藏代价：虽然频繁重规划可以提高任务成功率,但它带来了计算开销,并且掩盖了底层表征的问题。在实际应用中,过度依赖重规划可能导致系统在无法频繁更新决策的场景中失效。

针对发现的问题,研究社区可以探索以下方向：

这项研究提醒我们：即使是看似成功的AI系统,其内部机制可能存在根本性缺陷。只有通过严格的审计和诊断,才能真正推动技术进步。