HiRe-MoMa
一种面向真实世界移动操作机器人微调的分层残差学习框架,通过冻结基策略、仅学习移动底座与机械臂的残差修正,结合稀疏人类引导的价值对齐,实现高样本效率的真实世界策略微调
时间轴 (近 90 天)
HiRe-MoMa 是一个用于真实世界移动操作(MoMa)系统微调的系统性框架,采用分层残差架构。
HiRe-MoMa 的核心设计是冻结一个已有的基策略,仅在其输出之上学习加性修正残差,而不是从头训练移动操作策略。
HiRe-MoMa 将残差拆分为移动底座和机械臂两个头,并采用单向条件化,即底座先决定整体位姿,机械臂再在此基础上完成精细操作。
HiRe-MoMa 采用专家引导价值对齐方法,利用稀疏的人类干预来重塑 critic 的价值景观。
在 HiRe-MoMa 中,人类干预的训练覆盖率不足 20%。
HiRe-MoMa 在 TIAGo++ 平台上开展了大量真实世界实验,无论基策略采用何种架构,均能在约 30 分钟的在线交互后稳定提升任务表现。
作者表示,据其所知,HiRe-MoMa 是首批能够在真实世界中实现移动操作机器人上高效微调的框架之一。
HiRe-MoMa 框架的最终性能上限受限于所冻结的基策略本身的质量。
HiRe-MoMa 的稀疏干预效果依赖于干预时机与质量。
HiRe-MoMa 项目网站为 https://hire-moma.github.io/。
全部知识事实 (10)
HiRe-MoMa 是一个用于真实世界移动操作(MoMa)系统微调的系统性框架,采用分层残差架构。
50%待验证HiRe-MoMa 的核心设计是冻结一个已有的基策略,仅在其输出之上学习加性修正残差,而不是从头训练移动操作策略。
50%待验证HiRe-MoMa 将残差拆分为移动底座和机械臂两个头,并采用单向条件化,即底座先决定整体位姿,机械臂再在此基础上完成精细操作。
50%待验证HiRe-MoMa 采用专家引导价值对齐方法,利用稀疏的人类干预来重塑 critic 的价值景观。
50%待验证在 HiRe-MoMa 中,人类干预的训练覆盖率不足 20%。
50%待验证HiRe-MoMa 在 TIAGo++ 平台上开展了大量真实世界实验,无论基策略采用何种架构,均能在约 30 分钟的在线交互后稳定提升任务表现。
50%待验证作者表示,据其所知,HiRe-MoMa 是首批能够在真实世界中实现移动操作机器人上高效微调的框架之一。
50%待验证HiRe-MoMa 框架的最终性能上限受限于所冻结的基策略本身的质量。
50%待验证HiRe-MoMa 的稀疏干预效果依赖于干预时机与质量。
50%待验证HiRe-MoMa 项目网站为 https://hire-moma.github.io/。
50%