[控场AI]
· 4 分钟阅读· 2,033 字

ImpedanceMimic:以学习阻抗为动作空间,实现精准力模仿

ImpedanceMimic:以学习阻抗为动作空间,实现精准力模仿

ImpedanceMimic 用强化学习动态调节关节阻抗,仅凭运动数据实现高保真力跟踪。

ImpedanceMimic 针对基于物理的运动模仿中固定增益 PD 控制器无法同时优化运动跟踪与力跟踪的结构性矛盾,提出将学习到的阻抗本身作为动作空间。强化学习策略根据运动和力的测量值,输出每个关节的刚度、阻尼和位置设定点调制量,推理阶段仅需运动数据而无需力传感器。该方法将增益表示为惯性缩放先验的倍数,使单一策略可零样本迁移到未见个体甚至人形机器人。在 129 名参与者和六种活动上的实验表明,ImpedanceMimic 在运动学保真度和力保真度上均优于固定增益 PD、直接扭矩和肌肉驱动控制器,且学习到的阻抗形成可跨身体共享的低维运动状态表示,能泛化到未训练活动。

从一段动作中反推背后的力是病态问题:不同的控制器可以复现相同的运动轨迹,却产生截然不同的接触力。物理仿真虽然能消解这种歧义,但传统方法依赖固定增益的PD控制。ImpedanceMimic 另辟蹊径,让强化学习策略动态调节每个关节的刚度、阻尼和位置设定点,仅凭运动数据就能实现高保真的力跟踪。

ImpedanceMimic 概览

固定增益 PD 控制的固有局限

基于物理的运动模仿通常采用比例-微分(PD)控制器来跟踪参考运动。然而,固定增益意味着关节刚度和阻尼在整个过程中保持不变。接触阶段和摆动阶段对关节阻抗的需求截然相反:接触时需要高刚度以精确传递力,摆动时则需要低刚度以保证运动流畅。这种冲突导致固定增益 PD 在运动跟踪和力跟踪之间被迫取舍,无法同时达到最优。

论文明确指出,这种权衡是固定增益控制的结构性问题。即使调整参数,也难以让一个控制器在所有场景下都表现出色。

PD 控制器(比例-微分控制器)是机器人控制中最基础的反馈控制律之一:比例项根据当前位置与目标位置的偏差产生恢复力,微分项则根据速度偏差提供阻尼。在物理仿真驱动的运动模仿中,PD 控制器通常作为“底层控制器”接收参考轨迹并输出关节力矩。固定增益意味着比例系数和微分系数在整个仿真过程中恒定不变,这等价于假设关节阻抗不随任务阶段变化。然而生物运动控制中,中枢神经系统会根据任务需求实时调节肌肉共收缩程度,从而改变关节的等效刚度和阻尼。这种生物机制正是 ImpedanceMimic 试图用强化学习策略去模仿的对象。

ImpedanceMimic 的核心思路

ImpedanceMimic 将学习到的阻抗本身作为动作空间。具体来说,强化学习策略根据运动和力的测量值,输出每个关节的刚度、阻尼和位置设定点的调制量。关键创新在于,策略在推理阶段只需要运动数据,无需力传感器输入。

为了处理不同个体的生物力学差异,该方法将增益表示为惯性缩放先验的倍数。这样,单个策略就能控制受试者特定的生物力学模型,而无需显式输入人体测量参数。实验表明,该策略能够零样本迁移到未见过的个体,甚至泛化到人形机器人。

“阻抗”在机器人学中描述的是关节对外部扰动的抵抗程度:刚度越大,位置偏差引起的恢复力越强;阻尼越大,速度偏差被抑制得越快。阻抗控制的目标不是精确跟踪某个位置,而是调节这种“弹簧-阻尼”特性,使机器人在接触环境时表现出柔顺或刚硬的交互行为。将阻抗参数本身作为动作空间,意味着策略输出的不是力矩,而是控制器参数——这相当于让学习算法在元控制层面进行决策,每个时间步都在重新定义底层 PD 控制器的行为。位置设定点调制则允许策略在不改变参考轨迹的前提下微调目标位置,进一步扩展了可达的力-运动组合空间。

实验验证:跨越参与者与活动

研究涵盖了 129 名参与者和六种活动,对比了多种基线方法,包括直接扭矩控制、肌肉驱动模型以及现有的模仿控制器。在运动学保真度和力保真度两个维度上,ImpedanceMimic 均优于匹配的固定增益 PD 控制,并且接近专门的运动到力回归器的性能。

你可能没注意到,无论采用哪种积分方案,ImpedanceMimic 的优势都一致存在。这表明其增益调制机制具有普适性,不依赖于特定的仿真设置。

零样本迁移(zero-shot transfer)指模型在训练阶段从未见过某个个体或形态,却在推理时直接应用而不做任何微调。在人体运动模仿中,不同参与者的身高、体重、肢体比例差异显著,传统方法通常需要为每个受试者单独调整控制器参数。ImpedanceMimic 通过将增益表示为惯性缩放先验的倍数,使策略输出的阻抗参数自动随个体惯性特征缩放,从而在无需人体测量参数输入的情况下实现跨个体泛化。这种设计思路与域随机化(domain randomization)有相似之处,但更强调利用物理先验而非单纯依赖数据增强。

学习到的阻抗:低维运动状态表示

分析显示,学习到的阻抗形成了运动状态的低维表示,并且这种表示在不同身体之间共享。进一步地,该表示能够泛化到未参与训练的活动:刚度随着负载增加而增大,阻尼则提前预测卸载过程。这种模式符合生物运动控制的预期,说明模型捕捉到了潜在的物理规律。

意义与展望

ImpedanceMimic 为基于物理的运动模仿提供了新范式:不再依赖手工调参的固定增益,而是让策略自主学习如何调节阻抗。这不仅提升了力跟踪精度,还增强了跨个体、跨形态的泛化能力。未来,该方法有望应用于机器人学习、生物力学仿真和动画制作等领域,其中精确的力交互至关重要。

尽管论文未提及具体计算开销,但单一策略处理多体的设计暗示了较高的计算效率。随着强化学习与仿真技术的进步,阻抗作为动作空间的思路或将成为力敏感运动生成的重要工具。

#ImpedanceMimic#阻抗控制#运动模仿#强化学习#力跟踪#PD控制#物理仿真
分享:

相关推荐