[控场AI]
· 4 分钟阅读· 2,390 字

ViRA突破超高清视觉智能体:CrossRPO让AI学会「读图」而非「猜图」

ViRA突破超高清视觉智能体:CrossRPO让AI学会「读图」而非「猜图」

CrossRPO通过对比集训练迫使视觉智能体读取超高清图像证据,而非依赖常识猜测。

针对超高清图像视觉问答中智能体依赖常识猜测而非读取证据的问题,研究者提出CrossRPO方法。该方法构建对比集:同一问题下提供多个仅证据区域存在细微差异的图像版本,且答案不同,奖励模型解决整个集合而非单题。这迫使模型关注图像细微差异,发展精细视觉定位能力。研究者构建了ViRA-Train、ViRA-Bench和ViRA-Bench-Real数据集,训练出ViRA-9B和ViRA-27B智能体。在ViRA-Bench上,CrossRPO取得63.3%的集合准确率,优于GRPO的59.3%。ViRA-27B在多数基准上超越Claude Haiku 5.5和GPT-6-Luna。该工作揭示了传统RL在视觉推理中的局限性,为超高清视觉智能体训练提供了新范式。

视觉智能体在处理超高清图像时,通常需要放大到相关区域来回答问题。然而,现有智能体往往依赖常识作答,而非真正读取图像中的证据。针对这一痛点,研究者提出Cross-Input Relative Policy Optimization(CrossRPO),通过对比集训练智能体,显著提升了超高清视觉推理的准确性。

ViRA论文标题截图

问题背景:智能体为何「猜」而不「读」?

超高清图像(例如21至120兆像素)包含丰富的细节,但智能体在回答问题时,常常忽略放大查看,直接根据常识或图像的整体语义给出答案。这种「猜测」行为在传统强化学习(RL)中难以纠正,因为仅对最终答案进行奖励时,猜对的答案与真正读取证据的答案获得的奖励相同。这意味着模型没有动力去学习如何定位和解读关键区域。

据论文描述,现有智能体在回答超高清图像问题时,普遍存在「答非所问」的现象——它们可能给出看似合理但与图像证据无关的答案。这种缺陷在需要精细视觉辨别的场景中尤为突出,例如识别微小物体、读取模糊文字或判断细微差异。

强化学习与策略优化基础

强化学习(RL)通过奖励信号引导智能体学习策略,使其在环境中采取能最大化累积奖励的行动。在视觉问答任务中,智能体的「行动」包括决定是否放大图像区域、选择哪个区域以及如何解读视觉证据。传统RL方法如GRPO(Group Relative Policy Optimization)通过对一组候选答案进行相对比较来优化策略,但其奖励仅基于最终答案的正确性。当模型凭常识猜对答案时,它与真正读取证据的答案获得相同奖励,导致策略梯度无法区分「猜」与「读」这两种行为。这种奖励稀疏且无区分性的问题,是视觉推理智能体难以学会精细视觉定位的根本原因。

CrossRPO:用对比集迫使模型「读证据」

为了解决上述问题,研究者提出了Cross-Input Relative Policy Optimization(CrossRPO)。其核心思想是构建「对比集」(contrast set):针对同一问题,提供多个图像版本,这些版本仅在一个小区域存在差异(该区域包含证据),且答案不同。因此,只有真正读取证据,才能解决整个对比集;依靠常识或猜测无法同时答对多个版本。

CrossRPO的奖励机制设计为奖励解决整个对比集,而非单个问题。论文证明,这种奖励方式不会强化那些仅凭常识回答的集合。换句话说,模型必须学会关注图像中的细微差异,才能获得奖励。这种训练方式迫使智能体发展出精细的视觉定位和证据提取能力。

为了支持训练和评估,研究者构建了ViRA-Train和ViRA-Bench。这些数据集通过编辑21至120兆像素图像中的一个小物体生成,确保对比集之间的差异仅在于证据区域。此外,他们还拍摄了真实变化的图像集(ViRA-Bench-Real),以排除编辑痕迹的干扰,验证模型在真实场景下的泛化能力。

对比学习与对比集构建

对比学习(Contrastive Learning)的核心思想是通过比较样本之间的相似性与差异性来学习有判别力的表征。在CrossRPO中,对比集并非用于表征学习,而是作为一种训练信号构造手段:针对同一问题,生成多个仅在证据区域存在细微差异的图像版本,并赋予不同答案。模型必须识别出这些微小差异才能同时答对集合中的所有样本。这种设计将「是否读取证据」转化为一个可验证的判别任务,使奖励信号具有区分性。对比集的构建依赖于对超高清图像的局部编辑,确保差异仅存在于证据区域,从而避免模型利用其他视觉线索走捷径。

实验验证:ViRA-9B与ViRA-27B的性能表现

研究者使用CrossRPO在约3,500条ViRA-Train数据上训练了两个视觉推理智能体:ViRA-9B和ViRA-27B。在最大分辨率下,CrossRPO在ViRA-Bench上取得了63.3%的集合准确率,而基线方法GRPO为59.3%。这一提升表明,CrossRPO能有效引导模型关注证据区域。

ViRA-9B在同等规模的开放模型中准确率最高,在所有基准测试中均表现出色。ViRA-27B则在大多数基准测试中超越了Claude Haiku 5.5和GPT-6-Luna(两者均处于最高思考级别)。这些结果说明,CrossRPO方法不仅提升了模型在超高清图像上的推理能力,还使较小规模的模型具备了竞争力。

集合准确率(Set Accuracy)指标

集合准确率是CrossRPO训练与评估中的核心指标,定义为模型同时答对整个对比集中所有问题的比例。与传统的单题准确率不同,集合准确率要求模型在多个仅证据区域不同的图像版本上均给出正确答案,因此能够有效区分「真正读取证据」与「凭常识猜测」的行为。例如,若一个对比集包含三个图像版本,模型必须全部答对才计为正确。这一指标直接反映了模型对证据区域的定位与解读能力,避免了单题准确率因猜测而虚高的问题。实验中CrossRPO达到63.3%的集合准确率,显著高于GRPO的59.3%,表明其确实提升了证据读取能力。

意义与展望:超高清视觉推理的新范式

ViRA和CrossRPO的提出,为超高清视觉智能体的训练提供了新思路。通过对比集和相对奖励,模型被迫学会「读图」而非「猜图」,这有望推动视觉问答、文档分析、医学影像等领域的应用。未来,研究者可能需要进一步探索如何降低对比集的构建成本,以及如何将方法扩展到更复杂的推理任务中。

总体而言,这项研究揭示了传统强化学习在视觉推理中的局限性,并给出了一种可验证的解决方案。随着超高清图像的普及,能够精确读取证据的视觉智能体将变得愈发重要。

#ViRA#CrossRPO#超高清视觉智能体#视觉推理#对比集训练#强化学习#视觉问答
分享:

相关推荐