80肌肉模拟人行走：训练时依赖探索噪声，关掉就摔？

一位游戏动画师在Reddit上分享了他用强化学习训练NPC物理行走的经历：基于MyoSuite的MyoLeg模型（80块腿部肌肉）在MuJoCo/MuJoCo Warp中，用PPO算法（通过mjlab调用RSL-RL）在一台笔记本GPU上训练，奖励函数接近Schumacher等人2023年的工作——按目标速度行走、自适应努力成本，以及对关节极限和硬地面冲击的“疼痛”惩罚。全程没有使用动作捕捉演示数据。

他的三次尝试揭示了一个在肌肉驱动模型训练中值得关注的现象：策略在训练时依赖自身探索噪声，一旦关闭噪声（使用均值动作）就完全失效。

三次尝试：从“跺脚”到“稳定行走”

第一次尝试：训练约20分钟后策略学会了行走，但步态粗暴——峰值足部力量约为体重的4.6倍，步频约每分钟230步。更关键的是，当使用均值动作（不加噪声）时，它每次都摔倒。

第二次尝试：改用sigmoid肌肉命令并加重冲击成本。足部力量降到约2倍体重，步伐更平稳。但关闭噪声后，策略仍在约1.3秒内摔倒。

第三次尝试：在继续训练的同时缓慢降低动作噪声标准差（最终到0.05）。这次均值动作下策略能稳定行走：32次测试零摔倒，步频约每分钟150步，步长0.44米，足部力量约1.5倍体重。此后它学会了跟随速度与方向指令、启动和停止（大部分情况），并能实时驱动UE5中的虚拟人。

目前的问题是步态不对称：左转90度后停止会摔倒，右转则不会。下一轮训练将加入镜像对称损失（Yu, Turk and Liu 2018）。

MyoSuite与MyoLeg：MyoSuite是Meta（原Facebook）开源的一套肌肉骨骼模型仿真环境，旨在用生理学上合理的肌肉驱动模型替代传统的关节力矩控制。MyoLeg是其下肢模型，包含80块肌肉（对应80维连续动作空间），每条肌肉通过激活信号控制，动力学由MuJoCo物理引擎求解。与常规的关节角度控制不同，肌肉驱动模型的动作空间维度极高、冗余度大，且肌肉激活到关节运动之间存在非线性传递，因此策略学习难度显著高于普通的人形机器人控制任务。

PPO与RSL-RL：PPO（Proximal Policy Optimization）是一种基于策略梯度的强化学习算法，通过限制每次策略更新的幅度来保证训练稳定，广泛用于连续控制任务。RSL-RL是苏黎世联邦理工学院Robotic Systems Lab开源的PPO实现，针对大规模并行仿真做了优化。mjlab则是一个将MuJoCo（及其GPU加速版MuJoCo Warp）与RSL-RL衔接的训练框架，使开发者能在单块GPU上并行运行数千个环境实例，从而在笔记本级别硬件上完成训练。

为什么策略会依赖探索噪声？

这是原帖向有肌肉模型训练经验者提出的核心问题：策略依赖自身探索噪声是否常见？解决方式是降低噪声还是其他方法（如相关噪声Lattice）？

从强化学习原理看，探索噪声本应帮助策略探索状态空间，而非成为策略的一部分。当策略在训练中习惯了带噪声的观测或动作分布，它可能隐式地将噪声当作输入信号的一部分。这在肌肉驱动的高维连续控制任务中可能更突出——80维肌肉动作空间加上复杂动力学，策略容易找到依赖噪声扰动的“捷径”。原帖作者通过缓慢退火噪声标准差，实质上是让策略逐渐适应确定性动作分布，最终在均值动作下也能保持稳定。

动作噪声与均值动作：在PPO等随机策略算法中，策略网络通常输出一个高斯分布的均值μ和标准差σ，实际执行的动作从N(μ, σ²)中采样。σ即探索噪声，训练时提供随机性以探索状态空间；推理时通常取均值动作（即σ=0）以获得确定性行为。若策略在训练中隐式依赖σ带来的扰动——例如把噪声当作维持平衡的额外“抖动”信号——那么关闭噪声后行为分布发生偏移，策略就会失效。缓解手段包括：噪声退火（逐步减小σ）、使用时间相关噪声（如Lattice噪声，使探索在时间上平滑而非独立同分布），或在训练后期用均值动作做微调。

对游戏NPC动画的启示

这位动画师的初衷是让NPC从物理模拟中学习移动，而非依赖动作捕捉。肌肉驱动模型能产生更自然的物理交互，但训练稳定性仍是挑战。三个值得注意的点：

• 奖励设计需平衡速度与冲击：第一次尝试的4.6倍体重冲击力说明单纯追求速度会导致粗暴步态，加入冲击成本后显著改善。
• 噪声调度是训练稳定性的关键：缓慢降低噪声标准差让策略从随机探索过渡到确定性执行，避免了“关噪声就摔”的困境。
• 对称性问题需要显式约束：左右转后停止的不对称行为说明策略可能学到了有偏的步态模式，镜像对称损失是合理的下一步。

作者提到他使用Claude辅助编写了大量代码，并在一个小型YouTube频道上记录整个过程。对于尝试类似物理驱动角色动画的开发者，这个案例提供了一个可复现的参考路径：从高维肌肉模型、PPO训练到噪声退火策略的完整流程。

镜像对称损失：在角色动画与运动控制中，人体步态天然具有左右对称性。镜像对称损失（mirror symmetry loss）的做法是：将策略在某一时刻的状态与动作做左右镜像变换（交换左右肢体对应的关节与肌肉维度、翻转横向速度等），要求镜像后的动作与策略对镜像状态输出的动作一致，从而惩罚不对称行为。Yu、Turk与Liu在2018年的工作中系统使用了这类对称性约束来提升运动质量。对80维肌肉模型而言，该损失需要正确建立左右肌肉的对应映射，否则会引入错误约束。