D&A：解耦描述与评估，让VLM成为零样本机器人奖励模型

为什么VLM做不好任务进度估计？

视觉语言模型（VLM）在机器人学习中展现出零样本视频任务进度估计的潜力，但现有框架普遍存在一个致命缺陷：确认偏差。由于隐含的成功假设或相对时间排序设计，VLM 容易在失败的执行中“幻觉”出进度。更直接的问题在于，简单地对前沿模型进行提示，会使其退化为一个二分类成功检测器，无法捕捉非线性的细微进度和失败模式。

后训练方法虽然可以通过显式训练缓解这一问题，但代价高昂：需要大量昂贵的真实机器人数据，并且每换一个基座模型就要重新进行密集的后训练。这显然不是可扩展的路径。

确认偏差（confirmation bias）在认知心理学中指个体倾向于搜寻、解释和记忆那些支持自己已有假设的信息，而忽视与之矛盾的证据。在 VLM 的任务进度估计场景中，这一偏差表现为：模型在观察视频时，若隐含地假设“任务正在走向成功”，就会倾向于把模糊或失败的动作解读为“正在接近目标”。例如机械臂已经抓空物体，模型仍可能报告“抓取进行中，进度提升”。这种偏差的深层原因在于 VLM 的预训练语料多以成功演示为主，且自回归生成倾向于延续已有叙事。传统对前沿模型的简单提示往往让模型退化为二分类成功检测器，正是确认偏差与提示设计共同作用的结果——模型只需判断“是否成功”，而无需分辨失败的具体形态，从而放大了幻觉风险。

D&A 的核心思路：先描述，再评估

解耦进度估计为两个阶段

D&A（Describe & Assess）将进度估计拆解为两个明确阶段。第一阶段是客观的、基于任务的场景动态文本描述——模型先观察视频，用文字描述发生了什么，而不是直接打分。第二阶段是评估：使用显式评分标准（rubrics）对描述进行评判。

这种解耦的关键在于，模型不再依赖视频内部的时间线做相对排序。传统方法让模型比较“这一帧比上一帧更接近成功吗”，容易陷入局部幻觉；D&A 则强制模型在打分前，先合成一个基于文本的绝对成功定义。这个定义是外部的、全局的准则，评估被锚定在它上面。

显式评分标准（explicit rubrics）借鉴了教育评估与人类标注中的评分量规思想：将“任务成功”这一抽象目标拆解为若干可独立判断的维度或等级，例如“物体是否被正确抓取”“物体是否到达目标位置”“过程中是否发生倾倒或洒漏”等，并为每个维度设定明确的判定条件。与让模型直接输出一个连续进度分数相比，评分标准把评估转化为若干离散的、可核验的判断项，降低了模型自由发挥的空间。在 D&A 中，评分标准由任务定义外部给定，属于全局准则而非视频内部的时间线索，因此模型必须在描述事实后逐项对照，而不能仅凭“看起来更接近成功”做相对排序。这一设计也使不同视频、不同 embodiment 之间的评分具有可比性，为细粒度部分进度提供了可解释的依据。

用显式评分标准对抗确认偏差

确认偏差的根源是模型倾向于顺着已有线索“确认”成功。D&A 的评估阶段要求模型对照显式评分标准逐项判断，这迫使它关注与成功定义不符的证据。例如，如果任务要求“将杯子放到盘子上”，模型必须先描述“机械臂抓住了杯子，但移动中杯子倾斜，液体洒出”，再依据评分标准判断这属于部分失败而非成功。

这种设计让零样本估计得到校准，缓解了确认偏差，并能提供细粒度的部分进度指标——既准确惩罚失败执行，又能正确插值成功运行的中间状态。

实测表现：纯提示方法匹敌后训练模型

论文的实证结果显示，D&A 在多个任务、 embodiment 和基准上具有泛化能力。作为一个纯基于提示的方法，它匹配甚至超越了经过后训练的奖励模型。这意味着无需收集真实机器人数据，也无需为每个基座模型单独训练，就能获得可用的奖励信号。

此外，D&A 产生的奖励估计能够支持高效的下游强化学习。奖励信号的质量直接影响强化学习的效率，而 D&A 提供的细粒度进度指标比二分类成功检测器信息量更大，有助于策略优化。

后训练（post-training）指在基座模型完成预训练后，使用特定任务数据对其进行额外训练，常见形式包括监督微调、偏好优化或奖励建模。在机器人学习中，后训练奖励模型通常需要大量带进度标注的真实机器人轨迹，成本高且周期长；更关键的是，每更换一个基座模型，就需要重新收集适配数据并重新训练，难以复用。奖励模型（reward model）则是为强化学习提供标量奖励信号的模型，其质量直接决定策略优化的方向与效率。D&A 作为纯提示方法，不修改基座模型参数，因而避开了数据收集与逐模型后训练的开销，同时其输出的细粒度进度指标比二分类奖励包含更多信息，有助于强化学习在部分成功与失败模式上获得更精确的梯度信号。

对机器人学习的意义

D&A 的启示在于，VLM 的能力不需要通过昂贵后训练才能释放。问题往往出在提示和评估框架的设计上——让模型先客观描述，再依据外部准则评判，比让它直接预测进度更可靠。这为零样本机器人奖励建模提供了一条低成本、可泛化的路径，也提醒研究者：在追求更大模型和更多数据之前，重新审视任务分解和评估协议本身可能带来更大收益。