[控场AI]
· 4 分钟阅读· 2,278 字

AdaRSI:按需递归自改进,让具身智能体突破长程任务瓶颈

AdaRSI:按需递归自改进,让具身智能体突破长程任务瓶颈

AdaRSI将“何时微调执行器权重”变为显式归因决策,成功率近三倍提升且算力大减。

预训练视觉-语言-动作模型(VLA)在长程未见任务中常中途失败,现有递归自改进方法陷入两难:要么冻结执行器只调工具架,无法习得缺失动作;要么盲目在失败轨迹上微调,浪费算力。AdaRSI提出按需递归自改进框架,通过三步闭环——先优化工具架、再对持续失败重试归因、最后只微调真正不可靠的子步骤——将“何时改权重”显式化为决策问题。在RoboCasa365的50个目标任务上,AdaRSI将未见复合任务成功率从4.6%提升至13.8%,仅消耗28% GPU时间和22%自采集演示数据,证明工具架优化与精准微调互补。

预训练的视觉-语言-动作模型(VLA)在面对未见过的长程任务时,常常在中途失败。这类失败并非简单的执行误差,而是暴露了一个更根本的问题:当系统无法完成任务时,究竟应该调整调用执行器的方式,还是改变执行器本身的能力?

最近一篇题为《AdaRSI: On-Demand Recursive Self-Improvement for Embodied Agents》的研究,正面回答了这个问题,并提出了一个按需递归自改进框架。

AdaRSI论文截图

递归自改进的两难困境

递归自改进(RSI)被认为是提升智能体能力的有效路径。但在具身场景中,现有方法面临一个结构性矛盾。

一类方法选择冻结执行器(executor),只优化围绕它的“工具架”(harness)——比如调用逻辑、任务分解策略。这种方式无法让智能体学会一个它压根不具备的新动作(missing motion),碰到执行器能力边界时就束手无策。

另一类方法则直接在持续失败的轨迹上微调执行器,却从不追问:这个失败到底是因为执行器被错误地调用了,还是因为它本身做不到?这种“先训了再说”的思路,容易把本该归因于调度策略的问题,错误地转化为权重更新,浪费算力且效果有限。

AdaRSI的核心贡献,正是把“何时该改权重”作为一个显式决策问题来处理。

什么是视觉-语言-动作模型(VLA)

VLA模型是一类将视觉感知、自然语言指令与动作生成统一到单一神经网络中的具身智能基础模型。典型代表包括RT-2、OpenVLA、GR00T等,它们通常在互联网规模的图文数据与大规模机器人操作数据上联合预训练,从而获得跨任务、跨本体的泛化能力。使用者只需给出自然语言指令和当前视觉观测,模型即可直接输出末端执行器的动作序列。VLA的核心价值在于用统一的预训练范式取代过去为每个任务单独设计策略的做法,但它也继承了预训练模型的通病:面对训练分布之外的长程复合任务时,容易在中途失去连贯性,且由于动作输出与权重高度耦合,出错后难以快速定位是认知层问题还是能力层问题。这正是AdaRSI这类自改进框架试图解决的痛点。

AdaRSI如何工作:三步闭环

AdaRSI的流程可以拆解为三个阶段,形成一个闭环。

第一步,先让编码智能体提升自身技能与工具架。 在动执行器之前,系统先尝试通过改进调用方式和任务分解来解决问题。这一步成本最低,也最安全。

第二步,对持续失败进行归因。 对于仍然失败的子步骤,AdaRSI会从保存的状态(saved states)重新重试,判断问题究竟出在调用方式还是执行能力上。这个“重试-归因”机制是AdaRSI的关键区别点:它不盲目标记失败,而是定位失败的真正来源。

第三步,只对确实不可靠的子步骤做微调。 更重要的是,微调所用的演示数据由系统自行采集,并且会复用此前任务中积累的经验。

这三步的顺序设计体现了一个实用主义原则:能用策略解决的,不动权重;必须动权重的,才精准更新。

执行器与工具架的划分

在AdaRSI的语境中,执行器(executor)指承载动作生成能力的神经网络本体,通常是VLA模型的权重;而工具架(harness)则是包裹在执行器外围的调度与编排层,包括任务分解、子目标生成、工具调用顺序、提示词构造、失败重试逻辑等。二者的关键差异在于干预成本:修改工具架只需调整代码或提示,无需梯度更新,可即时生效;微调执行器则需要采集演示数据、反向传播并更新参数,成本高且可能引入灾难性遗忘。把智能体的能力拆成这两层,使得“何时该改权重”可以被形式化为一个归因问题——当失败发生在工具架可覆盖的范围内时,改代码;只有当失败证明是执行器缺乏某项运动技能时,才值得动权重。这一划分为资源受限的具身系统提供了可操作的工程准则。

实验数据:4.6%到13.8%的跨越

论文在RoboCasa365的全部50个目标任务上做了验证,执行器使用GR00T N1.5,全程不使用任何人类演示。

结果颇为亮眼。AdaRSI在三个套件上均提升了VLA的表现,在未见过的复合任务上,成功率从4.6%提升至13.8%——接近三倍的相对提升。

更值得关注的是效率对比。与“对每个子步骤都做微调”的方案相比,AdaRSI达到了略高的成功率,但只消耗了28%的GPU时间和22%的自采集演示数据。而另一个极端——有微调但没有工具架优化——虽然训练量更大,收获却远不如AdaRSI。

这组对照说明了两件事:盲目微调不仅昂贵,而且低效;工具架优化与精准微调之间存在明确的互补关系,而不是可以互相替代的选项。

对具身智能开发的启示

AdaRSI的价值不仅在于一个具体的框架,更在于它提出的问题意识:自改进系统需要一套“何时改权重”的判断机制。

对开发者而言,这意味着在设计具身智能体时,可以把“策略层优化”和“能力层微调”当作两个独立的干预杠杆,并依据归因结果动态选择。这种按需思路,比“一律微调”或“只调工具架”都更接近资源最优解。

当然,AdaRSI目前仍依赖从保存状态重试的机制,这在状态可复现的环境中成立,但在高度动态或不可逆的真实场景中,归因成本可能会显著上升。这也是后续研究需要回答的问题。

总体来看,AdaRSI为具身智能体的自改进提供了一条更务实的路径:先归因,再动手;能不动权重就不动,该动时只动必要的部分。

#AdaRSI#递归自改进#具身智能体#视觉语言动作模型#VLA微调#RoboCasa365#GR00T N1.5#长程任务
分享:

相关推荐