[控场AI]
· 6 分钟阅读· 3,202 字

CSF:为动作生成器加上场景感知安全过滤层

CSF:为动作生成器加上场景感知安全过滤层

CSF 提出免训练安全过滤器,用参考轨迹定义安全值,危险事件率最高降 90%。

现有文本驱动全身动作生成模型在机器人、虚拟人和具身智能领域快速落地,但动作的安全含义高度依赖场景上下文,传统提示词过滤、标注数据分类和几何约束均无法处理这一依赖。论文《CSF: Contextual Safety Filtering for Motion Generators》提出一种免训练安全过滤方案:让生成器分别产出安全与不安全参考轨迹,据此定义仿射安全值,再用安全参考跟踪 CBF-QP 在每一步强制执行。该方法在四种不同架构的预训练生成器上验证,危险事件率最高降低 90%,同时保留 88%-100% 的有益动作,并在真实 Unitree G1 人形机器人上完成了人机交互与物体交互场景的安全验证。

文本驱动的全身动作生成模型正在机器人、虚拟人和具身智能领域快速落地。你给它一句「走过去把杯子拿起来」,它就能输出一段可被追踪执行的全身轨迹。但这类模型有一个被长期忽视的盲区:同一个动作在不同场景里,安全含义完全不同。挥手可以是在打招呼,也可以是在击打面前的人;伸手可以是在递东西,也可以是在抓取危险物品。

现有防护手段大致分三类:检查输入提示词、依赖带标签的动作数据训练分类器、或者施加几何约束。它们共同的缺陷是——没有把场景上下文纳入判断,也就无法回答「这个动作在这个场景里安不安全」。

来自研究团队的论文《CSF: Contextual Safety Filtering for Motion Generators》提出了一个免训练的安全过滤方案,试图补上这块拼图。

CSF 论文来源截图

问题的核心:安全不是动作的固有属性

传统安全思路倾向于把动作本身当作判断对象:某些姿态危险,某些速度过大,某些关节角度超限。但 CSF 论文指出的关键点是,动作的语义依赖于场景。

举个例子:机械臂朝向一个杯子移动,和朝向一个人的头部移动,在关节轨迹层面可能高度相似。单纯检测轨迹几何特征,无法区分这两种情况。同样,提示词过滤也帮不上忙——用户输入的「伸手」本身完全无害,危险来自它被放置在什么场景中执行。

这就引出一个更精确的问题定义:给定一条自然语言安全规则(比如「不要碰到人」),如何判断生成器当前产出的动作是否违反了这条规则?CSF 的答案是把规则「落地」到生成器自己的输出空间里。

CSF 怎么工作:用参考轨迹定义安全边界

CSF 的核心机制是免训练的,不需要重新训练生成器,也不需要标注数据。它的流程可以拆成三层:

第一层,把自然语言安全规则转化为生成器可以理解的形式。做法是让生成器分别产出「安全参考轨迹」和「不安全参考轨迹」——比如针对「不要碰到人」,构造一条远离人的轨迹和一条会撞上人的轨迹。

第二层,用这两组参考轨迹定义一个仿射安全值(affine safety value)。这个值本质上是一个标量函数,用来衡量当前动作距离「安全一侧」有多远。它不是在几何空间里画硬边界,而是在生成器自身的动作表征空间里建立方向。

第三层,用一个安全参考跟踪 CBF-QP(控制屏障函数二次规划)来强制执行这个安全值。CBF 负责定义安全集,QP 负责在每一步求解出既跟踪目标动作、又不突破安全边界的控制量。

这套设计的巧妙之处在于:安全规则是「外挂」在生成器输出上的,生成器本身的架构不需要改动,也不需要为每条规则重新训练。

控制屏障函数(Control Barrier Function, CBF) 是控制理论中用于保证系统安全性的工具。它的核心思想是为系统定义一个「安全集」,并用一个标量函数来描述系统状态距离安全集边界的远近。当系统接近危险边界时,CBF 会施加约束,迫使系统回到安全区域内。二次规划(Quadratic Programming, QP) 则是一种优化方法,用于在满足一系列约束条件的前提下,寻找使目标函数最小化的解。在 CSF 中,CBF-QP 组合的含义是:每一步都求解一个优化问题,目标函数是「尽量跟踪生成器原本想要输出的动作」,约束条件则是「不能突破 CBF 定义的安全边界」。这样得到的控制量既能保持动作的流畅性和意图,又能保证安全性。这种「最小干预」的设计正是 CSF 能够保留 88%-100% 良性动作的原因。

仿射安全值(affine safety value) 中的「仿射」指的是数学上的仿射变换——即线性变换加上平移。在这里,CSF 用安全参考轨迹和不安全参考轨迹来构建一个标量函数,这个函数在生成器的动作表征空间中定义了一个「方向」:朝安全一侧走,值增大;朝不安全一侧走,值减小。之所以叫「仿射」,是因为这个安全值的计算方式对动作表征是仿射的,这使得后续的 CBF-QP 求解可以保持凸优化性质,从而保证每一步都能高效求出全局最优解。相比在几何空间直接画硬边界,这种在生成器自身表征空间中定义的安全值更能适应不同生成器的内部表示,也更容易与生成器的输出无缝衔接。

实验结果:危险事件率最高下降 90%

论文在四种不同架构的预训练生成器上验证了 CSF 的通用性。这个跨架构的设定很关键——它说明 CSF 不依赖某一种特定模型结构,而是可以作为一个通用过滤层插上去。

数据层面有几个值得关注的点:

  • 在所有显式不安全案例和场景触发的不安全案例中,CSF 都成功激活了对应的安全规则;
  • 危险事件率最高降低 90%;
  • 同时保留了 88%–100% 的有益动作。

最后一项指标容易被忽略,但其实同样重要。安全过滤器如果一味保守,把所有动作都拦下来,那系统就没有可用性了。88%–100% 的良性动作保留率说明 CSF 的干预是有选择性的,而不是一刀切。

论文还在真实世界的 Unitree G1 人形机器人上做了完整系统演示,覆盖了与人交互、与物体交互等多种场景,成功阻止了不安全动作。从仿真到真机的迁移,是这类安全方法能否落地的关键考验。

跨架构验证在这里指的是:CSF 被分别应用到四种结构不同的预训练动作生成器上,比如可能包括基于 Transformer 的、基于扩散模型的、基于 VAE 的等不同架构。这些生成器在动作表征方式、输出形式、内部层次结构上都有差异。CSF 能够在这些不同架构上都有效,说明它的安全过滤机制不依赖于某种特定的网络结构或动作表示,而是具有通用性。这对于实际部署非常重要:具身智能产品可能使用多种不同的生成器,如果安全方案只能适配一种架构,那么每换一个模型就要重新设计安全模块,成本极高。CSF 的跨架构通用性意味着它可以作为一个标准化的安全层,插到任何生成器后面使用。

这套方法的意义与边界

CSF 的价值不只是「多了一个安全模块」,而是提供了一个新的思路:安全判断可以建立在生成器自己的动作分布上,而不是外部强加的几何或语义规则。这让安全过滤能够自适应不同的生成器、不同的规则、不同的场景。

不过也有几个值得思考的边界问题。安全参考轨迹的质量直接决定了安全值的可靠性——如果生成器对某条规则无法产出有区分度的安全/不安全轨迹,过滤效果就会打折扣。此外,论文展示的是逐条规则的激活,当多条规则同时生效且相互冲突时(比如「靠近人」和「远离障碍物」),如何协调优先级,论文没有展开讨论。

从行业视角看,这类「免训练外挂式安全层」如果成熟,会显著降低具身智能产品的合规成本。毕竟重新训练一个大模型来解决安全问题,代价远高于在推理阶段加一个过滤层。CSF 目前展示的是概念验证加真机演示,距离产品化还有工程距离,但方向值得关注。

Unitree G1 是宇树科技(Unitree Robotics)推出的一款人形机器人,身高约 1.3 米,拥有 23 个以上的自由度,主要面向科研、教育和轻量级服务场景。G1 的特点是运动能力强、成本相对较低,并且开放了较为完整的 SDK,便于研究人员在其上部署和测试各类算法。在 CSF 的实验中,G1 被用来验证安全过滤器从仿真到真机的迁移能力。真机实验比仿真更具挑战性:传感器噪声、执行器延迟、地面摩擦变化、人类行为的不可预测性等因素都会影响安全判断的准确性。CSF 能够在 G1 上成功阻止不安全动作,说明其安全值定义和 CBF-QP 求解在真实物理条件下仍然有效,这是从论文走向产品化的重要一步。

#CSF#上下文安全过滤#动作生成器#CBF-QP#具身智能安全#Unitree G1#免训练安全过滤
分享:

相关推荐