SPLIT-RL
一种分阶段视觉语言推理训练方法,通过将视觉推理与语言推理分阶段训练、引入声明级优势机制(CLA-GRPO),解决强化学习训练中多模态能力归因混淆的问题
时间轴 (近 90 天)
arXiv论文《SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages》提出了针对视觉语言推理能力归因难题的解决方案
SPLIT-RL的核心思路是把视觉推理和语言推理的训练拆分到两个互不重叠的阶段中进行
SPLIT-RL每个阶段使用阶段专属的奖励(phase-specific reward)进行优化
SPLIT-RL训练出的策略在推理时的使用方式与普通GRPO模型一致,只需一次CoT调用,不增加推理成本
SPLIT-RL提出Claim-Level Advantage(CLA-GRPO),将视觉推理阶段的rollout分解成原子化的视觉声明并为每个声明单独提供细粒度优势信号
在Qwen3-VL系列模型(从2B到30B-A3B)以及InternVL3.5-8B上,SPLIT-RL相比标准GRPO平均准确率提升了1.4到6.1个百分点
SPLIT-RL在视觉推理和语言推理两个维度上都带来了实质性改进
全部知识事实 (7)
SPLIT-RL训练出的策略在推理时的使用方式与普通GRPO模型一致,只需一次CoT调用,不增加推理成本
50%待验证SPLIT-RL的核心思路是把视觉推理和语言推理的训练拆分到两个互不重叠的阶段中进行
50%待验证SPLIT-RL每个阶段使用阶段专属的奖励(phase-specific reward)进行优化
50%待验证SPLIT-RL在视觉推理和语言推理两个维度上都带来了实质性改进
50%待验证SPLIT-RL提出Claim-Level Advantage(CLA-GRPO),将视觉推理阶段的rollout分解成原子化的视觉声明并为每个声明单独提供细粒度优势信号
50%待验证在Qwen3-VL系列模型(从2B到30B-A3B)以及InternVL3.5-8B上,SPLIT-RL相比标准GRPO平均准确率提升了1.4到6.1个百分点
50%待验证arXiv论文《SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages》提出了针对视觉语言推理能力归因难题的解决方案
50%