无需标注数据：Marvo用边际奖励实现视觉Agent自进化

视觉Agent正在成为多模态任务的重要范式——它们能够交替进行推理与工具调用，从而处理单靠语言模型难以完成的复杂任务。但训练这类Agent通常需要大量人工标注的问答对或专家演示，成本极高。一项新研究提出了Marvo，一种从无标注图像中自进化的方法，让Agent在没有任何人工监督的情况下学会有效调用工具。

双Agent架构：挑战者与求解者

Marvo的核心设计是一对相互博弈的Agent。第一个是挑战者（Challenger），它从无标注图像中自动生成问答对；第二个是求解者（Solver），它通过强化学习解答这些题目，并在此过程中学会何时以及如何调用工具。

这种设计的巧妙之处在于分工：挑战者负责制造"学习素材"，求解者负责从中汲取能力。整个过程不需要任何人工标注的问答数据，只需要一批原始图像。

边际奖励：什么样的题最值得练？

自进化训练面临一个关键难题：如果挑战者出的题太简单，求解者不需要工具就能答对；如果太难，求解者怎么努力也做不对，同样学不到东西。理想的训练题目应该恰好落在"需要工具才能答对"的区间内。

Marvo用**边际奖励（Margin Reward）**来量化这一点。具体而言，边际奖励定义为求解者在使用工具和不使用工具两种情况下的表现差异。当差异为正时，说明工具确实带来了增益，这道题就是有价值的训练样本；当差异为零或负时，题目要么太简单要么太难，训练价值有限。

这个信号被反馈给挑战者，驱动它生成难度适中的题目，从而形成一个自适应课程（adaptive curriculum）——随着求解者能力提升，挑战者也会相应提高题目难度，始终保持"跳一跳够得着"的训练张力。

强化学习（Reinforcement Learning, RL）在这里扮演了关键角色：求解者并非通过标注样本学习，而是通过试错与环境交互，根据最终是否答对获得奖励信号，从而调整策略。在工具调用场景中，求解者需要学会一个更复杂的决策——不仅要解题，还要判断“何时调用工具、调用哪个工具”。这被称为工具使用策略（tool-use policy），属于序列决策问题：每一步选择都会影响后续状态和最终结果。强化学习天然适合这类延迟奖励问题，它能让模型在大量尝试中逐步摸索出有效的工具调用模式。Marvo的边际奖励本质上是对标准RL奖励信号的一种改造：不是只看最终答案对错，而是看“工具是否带来了相对增益”，从而把稀疏的最终奖励转化为更密集、更针对性的训练信号。

跨领域验证：平均准确率提升7.1%

研究团队在多个基准上验证了Marvo的效果，覆盖了Agent推理、视觉搜索、数学推理以及通用真实世界推理等场景。结果显示，Marvo将平均准确率提升了最多7.1%。

这个数字值得注意的地方在于：提升并非来自更多标注数据或更大模型，而是来自训练信号的设计——边际奖励让无监督条件下的课程学习成为可能。

为什么说这是可扩展的路径

该研究最核心的贡献不在于某个具体基准上的分数提升，而在于提出了一种不依赖人工监督来扩展问题复杂度的机制。传统方法要么依赖人工设计课程，要么依赖大规模标注数据；Marvo用求解者自身的表现差作为信号，自动调节训练难度。

这意味着，只要手头有未标注的图像，就有可能训练出具备工具调用能力的视觉Agent。对于数据获取成本高昂的多模态场景——例如需要专业标注的医疗影像或遥感图像——这条路径的实用价值尤为突出。

当然，自进化方法的稳定性、奖励信号的噪声处理、以及跨模态迁移能力，仍是后续研究需要回答的问题。但边际奖励这一思路，为视觉Agent的训练提供了一个简洁而有效的方向。

**自适应课程学习（Adaptive Curriculum Learning）借鉴了人类教育的直觉：学习内容应始终略高于学习者当前水平。在机器学习中，课程通常指训练样本从易到难的排列顺序。传统课程设计依赖人工预设难度等级或启发式规则，而Marvo让课程“自适应”地由训练过程本身驱动。挑战者根据求解者的边际奖励动态调整出题难度，相当于一个不断试探学习者最近发展区的自动出题系统。这种机制与自博弈（Self-Play）**思想一脉相承：通过让同一系统的两个角色相互对抗或合作，生成越来越有挑战性的学习信号，无需外部标注。不同之处在于，Marvo的挑战者并非追求击败求解者，而是追求生成“恰好需要工具”的题目，因此竞争性弱、协作性更强。这一设计降低了自博弈中容易出现的模式崩溃或难度失控风险，使训练更稳定可控。