视觉可归因自蒸馏：多模态RL新范式VAG

多模态强化学习在视觉推理任务上正面临一个隐蔽的陷阱：来自"特权教师"的密集token级纠正，可能混杂了非视觉因素的干扰，反而强化错误更新。一篇最新研究提出了视觉可归因的在线策略自蒸馏框架，并用视觉归因门控（VAG） 将污染纠正挡在门外，在六个视觉推理基准上超越GRPO与OPSD。

问题：密集纠正为何可能帮倒忙

带可验证奖励的多模态强化学习（RLVR）提供的是任务级监督——答案对错清晰可判，但模型很难知道推理链条中哪一步出了错。在线策略自蒸馏（OPSD）试图弥补这一缺口：引入一个掌握"证据中心视觉视图"的特权教师，为学生模型提供token级的密集纠正。

问题在于，这些纠正并不纯粹。研究将这一现象形式化为特权纠正污染：当某个token级更新的方向无法被一致地归因于特权视觉证据时，该纠正即被污染。污染源可能来自语言先验、回答风格，甚至特权视图本身带来的非视觉偏移。直接蒸馏被污染的纠正，等于把噪声当作监督信号，可能反向强化错误的token级更新。

在线策略自蒸馏（OPSD） 是一种知识蒸馏的变体：它不依赖固定的离线教师模型，而是在训练过程中由当前策略（或其增强版本）实时生成监督信号，再以token级别的粒度回传给学生模型。相比只给出答案对错的RLVR奖励，OPSD能提供更密集的梯度信号，缓解稀疏奖励下的信用分配难题。在视觉推理中，教师通常被赋予额外的视觉信息（如高分辨率裁剪、证据标注视图），从而扮演"特权教师"的角色。但正因为教师看到了学生看不到的信息，其纠正方向可能混入非视觉因素——这正是污染问题的结构性根源。

特权信息蒸馏（Privileged Information Distillation） 源自学习理论中的"学习使用特权信息"（LUPI）框架：训练阶段允许教师访问额外特征（如标注框、深度图、专家推理链），而部署阶段学生只能依靠常规输入。这一范式能显著提升样本效率，但存在一个隐含假设——教师多出的信息确实与任务相关。若特权视图本身带有偏差（例如裁剪过度导致上下文缺失），教师给出的token级偏好就可能反映视图伪影而非真实视觉证据。多模态场景下，语言先验的强大会进一步放大这种偏移，使得"看起来合理"的纠正实际上在教模型走捷径。

方法：用视觉对比给纠正"验明正身"

研究提出的证据一致性范式，核心思路是让每一条特权纠正都必须通过视觉证据的检验。具体实现为视觉归因门控（VAG），其机制包含两个关键设计。

以验证器优势为优化锚点。 VAG不放弃RLVR的任务级信号，而是将其作为整个优化的基准锚，确保策略更新的大方向不偏离可验证的正确性。

用证据在场与证据退化视图的对比做门控。 对每一条特权纠正，VAG构建证据在场和证据退化两种教师视图，观察纠正方向是否在这组视觉对比中得到方向性支持。只有被视觉对比一致支持的纠正才被接纳，其余不一致的残差被抑制。这样既保留了有视觉依据的指导，又过滤掉了混杂因素。

这一设计的巧妙之处在于，它把"这条纠正是否真的关于视觉"变成了一个可操作的对比检验，而非依赖启发式假设。

GRPO（Group Relative Policy Optimization） 是当前RLVR的主流算法之一：对同一问题采样一组回答，用组内奖励的均值与标准差做归一化，得到每个回答的相对优势，从而省去独立的评论家网络。它的优势在于实现简单、无需价值模型，但监督粒度仍是序列级——整条回答共享一个优势值，无法指出推理链中哪一步出错。VAG与GRPO并非替代关系：前者以GRPO式的验证器优势作为优化锚点，在此基础上叠加token级的可归因纠正，相当于在粗粒度正确性约束下做细粒度信用分配。

实验：六个基准上的稳定领先

研究在六个视觉推理基准上进行了验证。结果显示，VAG相比GRPO和OPSD方法均取得一致优势，并刷新了平均性能的最优水平。论文强调其优势是"consistently"——即在多个基准上稳定复现，而非单点突破。

对多模态RL实践者而言，这一结果传递的信号是明确的：在引入特权教师做密集监督时，纠正信号的来源纯度与信号本身同样重要。

视觉归因（Visual Attribution） 在可解释性研究中指将模型输出归因到特定图像区域或视觉特征的方法，常见手段包括梯度显著性、注意力 rollout 与扰动对比。VAG借用了"扰动对比"的思想：通过构造证据在场与证据退化两种视图，观察纠正方向是否随视觉证据的增减而发生一致变化。若某条纠正方向在证据退化后依然不变，说明它由语言先验或风格因素驱动，而非视觉依据。这种"反事实一致性检验"把归因从离线分析工具转变为训练时的在线门控信号，是该方法与传统可解释性技术的核心区别。

启示：密集监督需要来源审计

VAG的价值不止于一个门控模块。它把"纠正从哪来"这一元问题带入了多模态强化学习的优化循环。当教师视图、语言先验与回答风格同时作用于token级信号时，缺乏归因机制的自蒸馏很容易在不知不觉中放大偏差。视觉归因门控提供了一种轻量但原则性的审计方式——用证据对比说话，让每一条纠正都能被追溯到视觉依据。

对于构建视觉推理系统的团队，这意味着在设计蒸馏管线时，应当把"纠正的可归因性"列为与"纠正的密度"同等的设计目标。