[控场AI]
· 3 分钟阅读· 1,749 字

Isaac Sim复刻真实茶饮站,脚本驱动Unitree G1泡茶

Isaac Sim复刻真实茶饮站,脚本驱动Unitree G1泡茶

开发者在Isaac Sim中复刻茶饮站,用脚本驱动Unitree G1完成泡茶流程,探索物理仿真作为合成演示数据来源的可行性。

开发者将真实自助茶饮站转化为可物理交互的3D数字孪生环境,在NVIDIA Isaac Sim中让Unitree G1人形机器人以脚本方式完成五步泡茶任务。机器人动作并非从人类参考视频提取,而是单独编写并在启用物理引擎的仿真中执行。实验最大难点在于机器人交互时的稳定性,接触与滑动仍不完美,但这恰恰体现了物理仿真的价值。目前尚未使用学习策略或自动轨迹生成,团队真正关心的是该环境能否稳定产出合成机器人演示数据,包括服务不同身体结构的机器人,并就此向模仿学习与合成数据社区征求意见。

把真实世界中的场景搬进物理仿真环境,再让机器人在里面完成一套真实任务,是机器人学习领域近年颇受关注的思路。最近有开发者在Reddit上分享了他们的实验:在NVIDIA Isaac Sim中复刻了一个自助茶饮站,并让Unitree G1人形机器人以脚本方式完成了五个步骤的泡茶流程。

reddit source: Recreated a real tea station in Isaac Sim, then scripted a Unitree G1 to make tea

从真实场景到数字孪生

研究团队长期在做一件事——将现实中的地点转化为可物理交互的3D环境。这次的实验对象是一个自助茶饮站。他们在Isaac Sim中构建了这个茶饮站的"数字表亲",把Unitree G1放进场景,并为机器人编写了五个步骤的泡茶脚本。

需要说明的是,画面左侧的人类视频仅作为视觉参考,机器人的动作并非从人类视频中提取。机器人一侧的所有运动都是单独脚本化,并在启用物理引擎的Isaac Sim中执行。这意味着动作不是简单的动画播放,而是真正受到物理约束的仿真。

物理仿真不是动画:稳定性是难点

开发者坦言,让G1在与物体交互时保持稳定"花了相当一番功夫"。仿真中的接触和滑动仍不完美,视频中也能看到一些瑕疵。这恰恰说明了物理仿真的价值——它暴露了纯动画不会遇到的问题。

在人形机器人操作任务中,接触稳定性一直是核心挑战。机器人需要在抓取、放置、倾倒等动作中维持平衡,同时处理物体滑动和碰撞。Isaac Sim的物理引擎让这些交互更接近真实世界的复杂性,也为后续生成合成数据提供了基础。

接触稳定性在刚体物理仿真中通常由接触求解器(contact solver)处理。主流物理引擎(如Isaac Sim底层使用的PhysX)采用基于约束的迭代求解方式,在每一仿真步计算接触点上的法向力与摩擦力,使物体既不相互穿透,也不产生非物理的弹跳。当多个接触点同时存在、质量比悬殊或时间步长偏大时,求解器可能收敛不足,表现为物体抖动、缓慢下沉或抓取时物体滑脱。人形机器人尤其敏感:手臂与物体接触的同时,足部还要与地面保持支撑,形成闭环约束链,误差会沿链条累积。常见缓解手段包括减小仿真步长、提高求解器迭代次数、调低物体质量比、增加接触刚度与阻尼调参,以及用关节驱动层面的阻抗控制吸收残余误差。这也解释了为何脚本动作在动画中看着顺滑,一旦启用物理就会暴露瑕疵。

脚本驱动,而非学习策略

目前该实验尚未使用学习到的策略(learned policy)或自动轨迹生成。所有机器人动作都由脚本预先定义。开发者明确表示,这只是探索的第一步,他们真正关心的问题是:这样的环境能否成为合成机器人演示数据的来源,包括为不同身体结构的机器人提供数据。

这一思路与模仿学习和合成数据生成的研究方向高度相关。如果物理仿真环境能够稳定生成高质量的机器人操作演示,就有望缓解真实机器人数据采集成本高、规模有限的瓶颈。

模仿学习(imitation learning) 的核心是让机器人从演示数据中学习策略,常见方法包括行为克隆(behavior cloning)与逆强化学习。行为克隆直接把观测映射到动作,实现简单但存在分布偏移问题——机器人一旦偏离演示轨迹,误差会累积放大。合成数据生成则试图用仿真批量产出演示:在仿真中采集状态、动作与成功判定,再通过域随机化(domain randomization)或域适应缩小仿真与现实的差距,从而缓解真机采集成本高、危险动作难采集的问题。值得注意的是,脚本化轨迹本身也能作为演示来源:只要脚本在物理引擎中执行,就能记录受物理约束的状态-动作序列,只是它缺乏人类演示的自然多样性。不同形态机器人共享数据还涉及重定向(retargeting)问题,即把一种身体结构的动作映射到另一种结构上,这通常依赖关节对应关系或运动学重定向算法。

行业意义与待解问题

该实验展示了数字孪生环境在人形机器人任务脚本化方面的可行性。不过,从脚本驱动到自动生成数据,还有若干问题需要回答:物理接触的保真度是否足够?仿真中生成的演示能否有效迁移到真实机器人?不同形态的机器人如何共享同一环境中的演示数据?

开发者向从事模仿学习或合成机器人数据的研究者公开征求意见。对于关注人形机器人操作和仿真数据生成的从业者来说,这个实验提供了一个值得参考的起点。

分享:

相关推荐