机器人控制器如何安全升级？新方法确保旧技能不退化

为什么更新控制器需要“保护成功”

一个训练有素的机器人控制器已经能应对许多干扰。若要进一步提升，就需要学习新的纠正技能，同时学会何时不应用它。但仅仅冻结原有技能参数，并不能解决“何时启用”的问题——在由冻结技能路由的控制器中，新的进入规则可能重定向旧技能原本成功的状态。

来自rss的一篇研究提出了一种新思路：不约束参数，而是约束进入条件。每次更新时，系统在测量到的失败状态处寻找反馈技能，并拟合一个进入规则——该规则读取观测，并拒绝所有位于累积成功轨迹上的状态。只有当组合后的控制器能自主复现新恢复行为，且精确回放每条受保护轨迹时，该技能才被采纳。

**技能路由（skill routing）**是分层控制架构中的常见范式：一个上层调度器根据当前观测决定激活哪个下层技能（如行走、抓取、恢复平衡），各技能本身是冻结或独立训练的子策略。这种架构的好处是模块化、可组合，但更新时存在一个隐蔽风险——新增技能或修改调度规则会改变状态的分配方式，使原本由旧技能处理的观测被重定向到新技能。即使旧技能参数完全不变，只要进入条件变了，旧技能就可能在它原本擅长的状态上不再被调用，从而导致行为退化。因此"保护成功"不能只靠冻结参数，还必须约束路由决策本身。

核心机制：约束进入而非参数

该方法的关键在于将“保护旧成功”转化为对进入规则的限制。具体而言，每个新技能都附带一个进入规则，该规则在观测空间上定义了一个拒绝区域——所有累积成功轨迹上的状态都会被拒绝。这样，新技能只会在旧技能曾经失败的状态附近被触发，从而避免干扰旧技能的成功场景。

研究给出了一个有限轨迹条件，用于判断这种约束何时能保持先前控制器的行为。这为方法的可靠性提供了理论保证。

进入规则（entry rule / initiation classifier）在机器人学习中通常指一个二分类器或门控函数，输入观测（或状态特征），输出是否允许激活某技能。与直接修改策略网络不同，进入规则只影响"何时用"，不影响"怎么用"，因此约束它的改动空间更小、更可控。本文的关键设计是把进入规则拟合为在累积成功轨迹的状态集合上输出"拒绝"，等价于在观测空间中划出一个围绕失败状态的局部触发区域。这种做法的理论依据类似于安全过滤/控制屏障思想：只要新技能的触发域与历史成功域不相交，组合系统的行为在这些状态上就与旧控制器一致。有限轨迹条件则给出了在有限样本下该不相交性成立的充分判据。

实验验证：四流人形机器人系统

研究在四个数据流上验证了该机制：两个人形系统，每个系统两种运动。每个流进行两次更新，在192个保留扰动上增加了62次恢复，并且没有丢失基础控制器的任何成功。

这意味着，在提升控制器应对新干扰能力的同时，旧有的成功行为被完整保留。

**保留扰动（held-out perturbations）**指在训练或技能更新阶段未使用、仅用于评估的干扰集合，类似于机器学习中的测试集。本文在192个保留扰动上评估，是为了检验新增的62次恢复是否泛化到未见条件，而非仅仅记住了更新时观测到的失败状态。四个数据流（两个人形系统×两种运动）构成的多任务设置，则用于验证该方法在不同形态与运动模式下的可迁移性。"零丢失"意味着所有原本成功的保留扰动在更新后仍被成功完成，这是该方法区别于朴素微调的核心指标。

安全性的代价

研究进一步量化了这种保证的成本。移除进入约束后，系统额外恢复了33个条件，但导致8个受保护条件完全无法完成——即旧技能的成功被破坏。而仅排除那些被证明必要的约束，则无法挽回这部分成本。这说明保护旧成功需要付出一定的性能代价，但这一代价换来的是行为的可预测性与安全性。

对于实际部署的机器人系统而言，这种权衡至关重要：在开放环境中，不可预测的退化可能带来严重后果，而顺序恢复更新提供了一种可控的升级路径。

受保护条件（protected conditions）指在更新前已被基础控制器成功完成、并被纳入保护集合的评估情形。移除进入约束后多恢复的33个条件，说明约束确实限制了新技能的触发范围，使一些本可通过新技能解决的情形被拒绝；而8个受保护条件的失败则表明，没有约束时新技能会"抢占"旧技能原本成功的状态。这一权衡本质上反映了稳定性—可塑性困境：系统越强调保留旧行为（稳定），越难吸收新能力（可塑）。仅排除"被证明必要"的约束无法挽回成本，说明保护与性能之间的边界并非由少数关键约束决定，而是弥散在整个触发域上。

未来展望

该方法目前在人形机器人上验证，其核心思想——通过进入规则保护成功轨迹——可能适用于其他具有技能路由架构的学习控制系统。未来的工作或可探索更高效的约束表示，以降低保护带来的性能损失。