[控场AI]
· 6 分钟阅读· 3,364 字

机器人安全功能都正常,但输入被篡改了呢?

机器人安全功能都正常,但输入被篡改了呢?

机器人安全功能依赖的输入本身可能被蓄意操纵,导致按设计执行却做出危险动作。

文章指出,机器人安全功能(如减速、停止、避障)建立在距离读数、位置估计和停止信号等输入之上。当这些输入被蓄意操纵时,机器人仍可能按设计“正确”响应,却产生危险行为。VicOne LAB R7 的测试显示,海报文字可改变机器狗运动,不可听音频可影响医院服务机器人,ROS 2/DDS 消息注入可让预期静止的机器人移动。冗余传感器和独立防护同样需要对抗性测试,因为一次操纵可能同时影响多路输入。文章建议安全与网络安全团队围绕五个问题协作,并提供证据证明安全限制在输入被操纵时仍然有效,以应对 GB/T 45502-2025、IEC TS 63074 和欧盟机械法规等要求。

机器人安全功能与输入篡改

机器人安全功能通过了测试,不代表它在真实环境中一定安全。VicOne LAB R7 的研究提出了一个容易被忽略的问题:当安全功能所依赖的输入信息本身被篡改,机器人仍可能按设计“正确”响应,却做出危险动作。

安全功能依赖的输入,可能本身就是攻击面

移动机器人在走廊里为行人减速,协作机械臂在工人靠近时放缓动作,人形机器人停下来让人通过——这些反应都建立在距离读数、位置估计或停止信号之上。如果其中一个输入出错,而机器人依然按设计执行,结果就是:走廊明明有人,机器人却读成畅通;机械臂以为工人还很远;人形机器人没有收到停止信号。

这类不匹配可能源于故障,也可能源于蓄意操纵。VicOne LAB R7 关注的是后者:被操纵的输入如何改变机器人行为,以及这对保护人身安全的系统意味着什么。

不可信输入如何改变机器人行为

机器人不只是测量周围环境,它还会解读看到和听到的信息,再决定下一步动作。因此,环境中放置的信息可以影响它的行为。

已发表的研究提供了证据。一项针对视觉-语言-动作(VLA)模型的研究显示,摄像头视野中的一块贴片会降低模拟机器人测试的任务成功率。FreezeVLA 则发现,对抗性图像可以让被测模型忽略后续指令。两项研究方法不同,但都说明视觉输入可以干扰机器人原本要执行的任务。

VicOne LAB R7 的测试也得到类似结果。在使用 Gemma 4 E4B 的机器狗测试中,海报上的文字被当作指令,改变了机器狗的运动。在另一项使用 Nemotron、运行于 NVIDIA Jetson AGX Orin 的医院服务机器人模拟中,人耳听不见的精心构造音频改变了机器人的模拟行为。任务分配没有变,变的是输入。

视觉-语言-动作(VLA)模型是一类将视觉感知、自然语言指令与动作生成统一到单一神经网络中的机器人控制架构。模型接收摄像头图像和文本指令作为输入,直接输出关节角度、末端执行器位姿或移动指令。由于视觉编码器与语言模型共享表征空间,输入图像中的对抗性图案(如一块贴片)可能被模型编码为与任务无关的语义信号,从而干扰后续动作生成。这种端到端的耦合特性意味着攻击面不仅存在于传统传感器数据链路,也存在于模型对视觉场景的语义解读层面。

安全相关决策同样有输入

独立的防护系统或许仍能阻止危险动作,但这个系统同样依赖信息:读数、估计值和消息,用来判断何时介入。如果其中一个输入被操纵,会发生什么?

在一场机器人漏洞赏金活动中,VicOne LAB R7 的研究人员向一台被主办方预期在安全控制设置下保持静止的机器人注入了 ROS 2/DDS 消息。机器人动了。

人形机器人的平衡控制器是另一个例子。如果它依赖一个存在漏洞的陀螺仪,传感器谐振频率上的声音可能扭曲其报告的旋转数据。控制器可能去纠正一个从未发生的倾斜。研究人员曾演示过针对搭载脆弱陀螺仪的无人机的声学攻击,但该研究并未演示同样的攻击链会导致人形机器人摔倒。

其他防护措施可能中断上述任一链条。对安全与网络安全团队而言,关键问题是:这些防护是独立检测到危险,还是依赖了同样被操纵的信息。

AI安全风险与网络安全风险对比

ROS 2/DDS 是机器人操作系统第二代的通信中间件层。ROS 2 采用数据分发服务(DDS)作为默认通信协议,节点之间通过发布/订阅主题交换传感器读数、控制指令和状态消息。DDS 在设计上强调实时性和分布式发现,但默认配置下消息认证与访问控制并非强制开启。若攻击者能够接入同一 DDS 域(domain),便可发布伪造的速度指令或停止信号,而订阅方节点可能将其视为合法消息执行。这正是消息注入攻击能够绕过上层安全逻辑、直接驱动执行器的原因。

蓄意攻击挑战安全假设

安全评估可能把多种偶然故障的组合视为不太可能发生。蓄意操纵改变了这个假设。攻击者可以选择何时引入虚假输入,并重复同一触发条件。这并不意味着伤害不可避免,但可能改变网络风险的评估方式。

冗余传感器也需要对抗性测试。如果同一个动作能同时影响两路输入,它们的一致性所提供的保障可能低于预期。在自动驾驶研究中,一个精心构造的物理物体误导了结合摄像头与激光雷达感知的系统。该研究并未证明某个特定机器人存在弱点,但它说明团队应当测试:一次操纵是否可能同时影响多项检查。

网络威胁给安全等式加上了“意图”这一项,因此基于偶然故障的风险评估必须重新审视,以覆盖那些可以被定时和重复的攻击。

传感器融合指将摄像头、激光雷达、毫米波雷达、惯性测量单元等多源数据通过算法(如卡尔曼滤波、因子图优化)合并为统一环境估计的过程。融合的前提假设是各传感器故障模式相互独立,因此一致性检查可识别异常。但对抗性攻击可以构造同时欺骗多种传感器的物理刺激——例如对摄像头呈现特定纹理、同时对激光雷达产生异常回波——使融合输出整体偏移而内部一致性仍然成立。这意味着冗余设计的安全保障依赖于“故障不相关”假设,而蓄意攻击恰恰可以打破这一假设。

安全测试强化机器人安全证据

安全团队会设定速度、保护距离和允许操作区域的限制。支撑这些限制的证据,也应当说明:当用于执行限制的信息被蓄意操纵时会发生什么。

这些证据还可以支持对适用要求的评估。中国的 GB/T 45502-2025 涉及服务机器人的信息安全。IEC TS 63074 审视可能影响安全相关控制系统的安全威胁。欧盟机械法规将于 2027 年 1 月 20 日起适用,其中包含保护安全相关系统和数据免受破坏的要求。每项法规各有适用范围,团队仍需针对自身机器人的设计和运行条件提供证据。

机器人安全生命周期中的网络安全

在部署前,安全与网络安全工程师可以针对同一组安全限制,对比正常场景与对抗场景。在运行期间,他们可以监控软件、模型、传感器信号或行为的变化,这些变化可能使先前的结论不再成立。对可疑行为的任何响应都应遵循安全团队批准的策略。

VicOne 通过 Robotic Hacking Community 与研究人员合作,调查网络威胁如何改变机器人行为。VicOne 的 Radeis 帮助团队在部署前验证潜在影响,Rthena 则在运行期间提供风险与行为的可见性。

安全与网络安全团队应共同回答的五个问题

核心测试是:当安全防护所依赖的信息被操纵时,它是否仍能保护人。团队可以从以下五个问题入手:

  1. 每项防护功能读取什么? 梳理读数、估计值、消息和确认信号,识别哪些防护独立于机器人的 AI 决策运行。
  2. 这些信息如何到达? 检查输入如何产生、传输、在适当处如何认证,以及缺失或不合理时如何处理。
  3. 输入被操纵会发生什么? 针对机器人的安全限制,测试虚假距离、漂移的位置估计等相关场景。
  4. 一个动作能否误导多个输入? 检查传感器融合或看似独立的防护是否共享同一个故障点。
  5. 何时应重新审视证据? 在软件、模型、传感器或运行条件变化后重新评估,并与安全团队事先约定对可疑行为的有界响应。

目标不只是证明某项防护功能有效,还需要证据证明:当支撑决策的信息错误或被蓄意操纵时,该功能仍具保护性;必要时,另一道防护能拦截由此产生的危险。机器人在变,证据也必须随之更新。

#机器人安全#输入篡改#对抗性攻击#VicOne LAB R7#机器人网络安全#VLA模型#ROS 2/DDS#功能安全
分享:

相关推荐