Marvo
一种从无标注图像中自进化的视觉Agent训练方法,采用挑战者与求解者双Agent架构,利用边际奖励驱动自适应课程学习,无需人工标注数据即可让Agent学会工具调用。
时间轴 (近 90 天)
Marvo是一种从无标注图像中自进化的视觉Agent训练方法,让Agent在没有任何人工监督的情况下学会有效调用工具。
Marvo采用双Agent架构,由挑战者(Challenger)和求解者(Solver)组成:挑战者从无标注图像中自动生成问答对,求解者通过强化学习解答这些题目。
Marvo的边际奖励(Margin Reward)定义为求解者在使用工具和不使用工具两种情况下的表现差异。
研究团队在多个基准上验证Marvo效果,覆盖Agent推理、视觉搜索、数学推理及通用真实世界推理等场景,结果显示平均准确率提升最多7.1%。
Marvo的提升并非来自更多标注数据或更大模型,而是来自训练信号的设计。
Marvo适用于数据获取成本高昂的多模态场景,例如需要专业标注的医疗影像或遥感图像。
自进化方法的稳定性、奖励信号的噪声处理以及跨模态迁移能力,仍是后续研究需要回答的问题。
Marvo的挑战者并非追求击败求解者,而是追求生成恰好需要工具的题目,因此竞争性弱、协作性更强。
Marvo的设计降低了自博弈中容易出现的模式崩溃或难度失控风险,使训练更稳定可控。
全部知识事实 (9)
Marvo是一种从无标注图像中自进化的视觉Agent训练方法,让Agent在没有任何人工监督的情况下学会有效调用工具。
50%待验证Marvo采用双Agent架构,由挑战者(Challenger)和求解者(Solver)组成:挑战者从无标注图像中自动生成问答对,求解者通过强化学习解答这些题目。
50%待验证Marvo的边际奖励(Margin Reward)定义为求解者在使用工具和不使用工具两种情况下的表现差异。
50%待验证研究团队在多个基准上验证Marvo效果,覆盖Agent推理、视觉搜索、数学推理及通用真实世界推理等场景,结果显示平均准确率提升最多7.1%。
50%待验证Marvo的提升并非来自更多标注数据或更大模型,而是来自训练信号的设计。
50%待验证Marvo适用于数据获取成本高昂的多模态场景,例如需要专业标注的医疗影像或遥感图像。
50%待验证自进化方法的稳定性、奖励信号的噪声处理以及跨模态迁移能力,仍是后续研究需要回答的问题。
50%待验证Marvo的挑战者并非追求击败求解者,而是追求生成恰好需要工具的题目,因此竞争性弱、协作性更强。
50%待验证Marvo的设计降低了自博弈中容易出现的模式崩溃或难度失控风险,使训练更稳定可控。
50%