[控场AI]
· 5 分钟阅读· 2,650 字

纯PPO训练六足机器人:无关键帧,浏览器实时互动

纯PPO训练六足机器人:无关键帧,浏览器实时互动

开发者用PPO在MuJoCo中训练六足机器人,并将物理模拟与策略推理搬进浏览器实现实时互动。

本文介绍了一个完全基于PPO强化学习的六足机器人项目:24个关节全部由策略网络驱动,无关键帧或动作捕捉,机器人能在随机地形上行走并在受撞击后自主恢复平衡。物理模拟以480 Hz运行,策略以30 Hz输出动作,观察包含身体状态、关节状态、指令速度与脚部高度图。开发者总结了三条关键经验:物理设置对步态的影响不亚于奖励函数;奖励曲线可能误导,需用视频验证;sim-to-browser迁移要求训练、验证与浏览器模拟保持一致。浏览器端使用MuJoCo WASM、ONNX Runtime Web和three.js,用户可投掷171公斤钢球测试鲁棒性。文末还提出了物理爆炸导致回合终止时应如何处理数据的开放问题。

在强化学习领域,用关键帧和动作捕捉来驱动虚拟角色是常见做法,但Reddit上一位开发者另辟蹊径——完全依靠PPO算法在MuJoCo物理引擎中训练一只六足机器人,让它学会行走,甚至能在受到撞击时自主恢复平衡。更令人兴奋的是,整个物理模拟和策略推理都运行在浏览器中,你可以实时与机器人互动,还能向它投掷一个171公斤的钢球。

Reddit原帖截图

无关键帧、无动捕:纯强化学习驱动24个关节

这个六足机器人拥有24个关节电机,所有动作都来自一个用PPO训练出的策略网络,没有任何人工设计的动画或参考运动。开发者强调,机器人受到撞击后踉跄恢复的姿态也是训练中自然涌现的。这意味着虚拟机器人的行为完全由物理交互和奖励函数塑造,而非脚本化。

在技术实现上,MuJoCo以480 Hz的频率运行物理模拟,策略网络以30 Hz的频率输出动作。策略网络接收的观察包括:身体状态、关节状态、指令速度与朝向,以及脚部周围地面的高度图。动作空间是24个关节的目标角度,电机追踪这些角度,物理引擎处理后续运动。奖励函数设计简洁:跟踪指令速度、保持直立、朝向正确、节省能量,以及确保只有脚部接触地面。训练在随机方块地形上进行,并加入随机推力和板条箱作为障碍。

PPO(Proximal Policy Optimization)是一种基于策略梯度的强化学习算法,其核心思想是在每次更新时限制新策略与旧策略的差异,通过裁剪重要性采样比率来避免过大的策略更新,从而保证训练的稳定性。PPO属于演员-评论家(Actor-Critic)架构,演员网络输出动作概率分布,评论家网络估计状态价值,二者协同优化。相比TRPO等早期算法,PPO实现简单、计算高效,在连续控制任务中表现优异,已成为MuJoCo等物理仿真环境中训练机器人策略的默认选择之一。本文中六足机器人的全部关节控制策略正是通过PPO从零开始训练得到的。

MuJoCo(Multi-Joint dynamics with Contact)是一款专注于接触动力学的高性能物理引擎,广泛应用于机器人学、生物力学和强化学习研究。它以计算效率高、接触模型精确著称,能够快速模拟多关节系统的复杂交互。在强化学习训练中,MuJoCo常作为标准仿真环境(如OpenAI Gym的MuJoCo任务套件)的底层引擎。本文中,MuJoCo以480 Hz的频率运行物理模拟,远高于策略网络30 Hz的动作输出频率,这种设计允许物理引擎在两次策略决策之间进行多次精细积分,从而保证接触和碰撞计算的稳定性。

三个关键教训:物理设置、奖励曲线与sim-to-browser

开发者分享了三条宝贵的经验,对快速模拟器中的训练者极具参考价值。

第一,物理设置对步态的影响不亚于奖励函数。关节刚度、阻尼、接触参数和时间步长会让同一个网络表现出截然不同的机器人行为。开发者曾遇到脚陷入方块边缘的问题,改进碰撞形状无效,最终通过减小时间步长解决。

第二,奖励曲线会“说谎”。有些策略拖着一只脚或让一条腿闲置,却能获得不错的奖励分数。因此开发者录制了每个候选策略在真实速度下的视频,通过视觉判断优劣——这比单纯看奖励更可靠。

第三,sim-to-browser是一个真实的迁移问题。快速训练模拟器、用于验证的更精确模拟器,以及浏览器中的WebAssembly构建,三者必须保持一致,否则训练中行走正常的策略在屏幕上会摔倒。

在浏览器端,开发者使用了官方MuJoCo WebAssembly构建、ONNX Runtime Web和three.js。物理和策略都在本地运行,无需服务器。

Sim-to-browser迁移是指将训练好的策略从训练环境部署到浏览器端运行的过程,属于更广泛的sim-to-real迁移问题的一个变体。在传统sim-to-real中,差异主要来自仿真与真实物理之间的建模误差;而在sim-to-browser场景中,差异则源于不同仿真器实现(快速训练模拟器、精确验证模拟器、WebAssembly构建)之间的数值精度、时间步长和接触求解器差异。WebAssembly(WASM)是一种可在浏览器中高效运行的二进制指令格式,MuJoCo官方提供了WASM构建,使得物理模拟能在客户端本地执行。ONNX Runtime Web则负责在浏览器中加载并推理ONNX格式的策略网络。三者必须保持一致,否则策略在屏幕上会表现出与训练时截然不同的行为。

互动演示:向机器人投掷钢球

这个项目最吸引人的地方在于实时互动。你可以通过链接在浏览器中打开演示,向机器人投掷一个171公斤的钢球或一个板条箱,观察它如何应对冲击并尝试恢复平衡。这种互动性不仅有趣,也直观展示了策略的鲁棒性。

开发者坦言,机器人目前在一些地形凹陷处仍会卡住,步态也尚未完全自然。但这些问题正是后续改进的方向。

未解难题:物理爆炸时的处理方式

在帖子结尾,开发者提出了一个开放性问题:在快速模拟器中,当物理模拟“爆炸”(数值不稳定)导致回合结束时,应该如何处理该数据?是作为终止状态、截断并自举,还是直接从批次中丢弃?开发者提到,其中一种选择曾导致一个原本在进步的运行崩溃。这个问题引发了社区讨论,也反映出强化学习训练中处理异常终止的重要性。

这个项目基于MuJoCo的WASM构建与ONNX Runtime Web,将物理模拟和策略推理直接带到了浏览器,为机器人学习提供了一个直观的演示平台。其开源精神和经验分享对强化学习社区具有积极意义。

(注:文中提到的技术实现与经验均来自Reddit原帖及开发者博客,未添加额外数据。)

在强化学习训练中,回合终止通常分为两类:终止(termination)和截断(truncation)。终止指环境达到真正的终止状态(如机器人摔倒),此时价值函数的目标应为零;截断指因时间限制或数值异常而人为结束回合,此时应通过自举(bootstrap)用当前价值估计来修正目标,而非直接置零。物理爆炸属于数值不稳定导致的异常截断,若错误地将其当作终止状态处理,价值网络会学到错误的低价值估计,可能引发训练崩溃。常见的处理方式包括:丢弃该回合数据、截断并自举、或对爆炸状态施加惩罚并标记为终止。开发者提到的“一种选择曾导致运行崩溃”很可能与价值目标处理不当有关。

#PPO#六足机器人#MuJoCo#强化学习#浏览器模拟#sim-to-browser#物理引擎
分享:

相关推荐