SPLIT-RL：分阶段训练破解视觉语言推理的能力归因难题

视觉语言推理的核心矛盾

视觉语言（Vision-Language, VL）模型在回答一个关于图像的问题时，实际上要完成两件截然不同的事：一是从图像中准确提取相关信息（视觉推理，VR），二是基于提取的信息推导出最终答案（语言推理，LR）。这两种能力的失败模式完全不同——模型可能看错了图，也可能看对了却推错了结论。

问题在于，当前主流的强化学习训练方式无法区分这两类错误。基于可验证奖励（verifiable rewards）的强化学习，通常用单一的思维链（chain-of-thought, CoT）配合最终答案奖励来同时训练这两种能力。这种做法有一个结构性缺陷：它给CoT中的每一个token都分配了相同的序列级优势（sequence-level advantage），因此无法分辨到底是感知环节出了错，还是推理环节出了错。

arXiv上这篇题为《SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages》的论文正是针对这一痛点提出了解决方案。

基于可验证奖励的强化学习（RLVR）是近期多模态大模型训练的主流范式，代表方法包括GRPO（Group Relative Policy Optimization）。GRPO的做法是让模型对同一问题采样多条思维链，通过比较组内各条轨迹与最终正确答案的相对差距来估算优势函数，再以此更新策略。这种方法的优点是不依赖人工标注的过程奖励，只需最终答案可验证即可。但其内在假设是"整条思维链对应同一个信号源"——对于单一能力任务（如纯数学推理）这是合理的，而一旦任务同时涉及感知和推理两种异质能力，序列级优势就会把两种能力的学习信号混在一起，导致模型无从判断究竟是哪个环节需要改进。

分阶段训练：让优势信号各司其职

SPLIT-RL的核心思路是把VR和LR的训练拆分到两个互不重叠的阶段中进行。研究者的洞察在于：如果一组rollout（采样轨迹）每次只在一种能力维度上存在差异，那么组内相对优势（group-relative advantage）就能把这一种能力单独隔离出来，从而针对性地优化。

换句话说，当训练聚焦于视觉推理阶段时，组内各条轨迹的差异主要来自感知环节，优势信号自然就指向了感知能力的改进；语言推理阶段同理。每个阶段都使用阶段专属的奖励（phase-specific reward）进行优化，而不是让一个笼统的最终答案奖励去模糊地覆盖所有token。

这种设计的巧妙之处在于，虽然训练分成两个阶段，但训练出的策略在推理（inference）时的使用方式和普通GRPO模型完全一致——只需一次CoT调用即可，不增加任何推理成本。这意味着SPLIT-RL是在训练端做文章，部署端零负担。

Claim-Level Advantage：把视觉推理拆到原子级

论文的另一项关键创新是提出了Claim-Level Advantage（CLA-GRPO），即声明级优势机制。

传统方法把整条视觉推理轨迹当作一个整体来评估，但一次视觉推理往往包含多个独立的视觉判断。CLA-GRPO将VR阶段的rollout分解成一个个原子化的视觉声明（atomic visual claims），并基于视觉类型的分组方式（visual-type group formation），为每一个声明单独提供细粒度的优势信号。

这相当于把奖励的颗粒度从"整段推理对不对"细化到"每一条视觉判断对不对"。对于那些包含多个感知要素的复杂图像任务来说，这种细粒度反馈能更精准地告诉模型究竟是哪一步看错了，从而让感知能力的训练更有效率。

所谓"原子化视觉声明"，可以理解为对图像中单一属性或关系的最小可验证断言，例如"图中左侧物体是红色的"或"图中共有三个人"。将一段视觉推理拆解为这类原子声明后，模型对每一条声明都可以独立打分——利用外部视觉验证器或语言模型对照图像进行逐条核查，从而得到比"整段推理正确与否"更细粒度的监督信号。视觉类型分组（visual-type group formation）则进一步按照属性类别（颜色、计数、空间关系、文字等）对声明进行归组，使得组内对比更具可比性，优势估算也更加稳健。这种设计在本质上是将稀疏的结果奖励转化为密集的过程奖励，而无需人工标注每一步。

实验结果：感知与推理双提升

评测结果验证了方法的有效性。在Qwen3-VL系列模型（从2B到30B-A3B）以及InternVL3.5-8B上，SPLIT-RL相比标准GRPO，平均准确率提升了1.4到6.1个百分点。这个提升幅度在不同规模的模型上均成立，说明方法具有较好的通用性。

更有说服力的是基于oracle的诊断性评测。研究者用这种诊断方式分别考察模型的两种能力，结果发现：仅依赖最终答案奖励的GRPO几乎没有改善感知能力（perception unchanged）——也就是说，模型准确率的提升主要来自语言推理那一侧，视觉感知其实停滞不前。而SPLIT-RL则在VR和LR两个维度上都带来了实质性改进。

这一对比结果颇具启发意义：它揭示了传统端到端强化学习的一个隐蔽缺陷——由于优势信号无法区分能力来源，模型倾向于走"捷径"去优化更容易改进的推理环节，而把更难的感知环节晾在一边。SPLIT-RL通过结构化的优势隔离，强迫模型两条腿都要变强。

Oracle诊断评测是一种常见的能力解耦分析方式：在测试时，研究者会人工提供"理想的视觉描述"来替代模型的感知输出，让语言推理模块在无感知误差的条件下作答，从而单独评估推理能力的上限；反之，也可固定语言推理策略，只让感知环节变化，以此衡量纯感知能力。通过对比两种条件下的准确率变化，可以定量区分"模型整体提升有多少来自感知改善，有多少来自推理改善"。这种诊断手段揭示了标准GRPO的一个隐性问题：模型在整体准确率上升的同时，感知能力几乎没有变化，说明收益几乎全部来自推理侧的优化，感知瓶颈被训练信号所掩盖。

对多模态训练方法论的启示

从更大的视角看，SPLIT-RL提供了一个值得关注的研究方向：当一个任务涉及多种异质能力时，笼统的奖励信号可能会掩盖真正的能力瓶颈。通过分阶段训练与细粒度优势分解，把不同能力的学习信号解耦，是一条提升多模态模型综合能力的可行路径。

对于从事多模态大模型训练的研究者和工程师而言，这篇工作提醒我们在设计强化学习奖励时，不能只看最终指标是否上涨，还要关注提升究竟来自哪个子能力。否则很可能出现"分数上去了，但某项核心能力原地踏步"的假性进步。

需要说明的是，本文基于arXiv预印本摘要撰写，具体的奖励函数设计细节、消融实验以及CLA-GRPO的声明分解实现方式，仍需参考论文正文进一步了解。