SLVR
提出结构化潜在视觉推理框架的研究论文,通过带类型的潜在推理阶段(规划、定位、证据选择、推理整合)结合两阶段训练策略,提升多模态大语言模型的视觉推理能力
时间轴 (近 90 天)
SLVR(Structured Latent Visual Reasoning)将多模态推理组织成若干带类型的潜在阶段,对应规划、定位、证据选择和推理整合四个环节
SLVR采用两阶段训练策略:第一步通过遮蔽泄露答案的文本并用视觉干扰项迫使模型依赖图像,第二步进行结构化的分阶段监督
SLVR的定位阶段用边界框监督,证据选择对应视觉证据,整合对应最终推理理由,规划对应计划
SLVR构建在Qwen2.5-VL-7B之上
SLVR在MMVP基准上取得绝对提升+9.4
SLVR在BLINK Relation基准上取得绝对提升+14.2
SLVR在V*、MathVista、ChartQA等基准上也有不同程度的改善
SLVR与连续思维链(Coconut)不同,后者在隐空间中自由迭代但不施加阶段划分,而SLVR明确要求每个潜在状态与特定语义功能对齐
SLVR是一篇来自arXiv的新研究预印本
研究者认为结构化的潜在监督能够提升细粒度视觉推理能力,同时避免文本思维链带来的解码开销
全部知识事实 (10)
SLVR(Structured Latent Visual Reasoning)将多模态推理组织成若干带类型的潜在阶段,对应规划、定位、证据选择和推理整合四个环节
50%待验证SLVR采用两阶段训练策略:第一步通过遮蔽泄露答案的文本并用视觉干扰项迫使模型依赖图像,第二步进行结构化的分阶段监督
50%待验证SLVR的定位阶段用边界框监督,证据选择对应视觉证据,整合对应最终推理理由,规划对应计划
50%待验证SLVR构建在Qwen2.5-VL-7B之上
50%待验证SLVR在MMVP基准上取得绝对提升+9.4
50%待验证SLVR在BLINK Relation基准上取得绝对提升+14.2
50%待验证SLVR在V*、MathVista、ChartQA等基准上也有不同程度的改善
50%待验证SLVR与连续思维链(Coconut)不同,后者在隐空间中自由迭代但不施加阶段划分,而SLVR明确要求每个潜在状态与特定语义功能对齐
50%待验证SLVR是一篇来自arXiv的新研究预印本
50%待验证研究者认为结构化的潜在监督能够提升细粒度视觉推理能力,同时避免文本思维链带来的解码开销
50%