MobileInject：多模态注入如何劫持手机AI智能体

手机上的 AI 助手正在从"聊天工具"变成"能自己点屏幕办事的智能体"。当这类基于多模态大模型（MLLM）的移动智能体接管通知栏、跨应用读取内容并执行操作时，一个新的攻击面随之打开：攻击者不需要直接对话，只要把恶意指令藏进一条短信、一个网页或一张图片里，就可能让智能体替自己完成操作。

近期一篇研究论文提出了 MobileInject，这是首个针对移动智能体多模态注入攻击与"推理到行动"安全风险的评测基准。它试图回答一个问题：当恶意目标以跨模态方式混入手机环境时，智能体的推理链条会在哪一步被带偏？

移动智能体为什么成了新靶子

传统提示注入攻击多发生在桌面端和网页场景，例如在网页里埋一段隐藏文字诱导模型输出攻击者想要的结果。移动生态的不同之处在于信息高度跨应用流动：一条消息可能来自社交软件，触发点却在日历或支付应用，而智能体需要在多个模态（文本、截图、界面元素）之间做一致性判断。

研究指出，正是这种跨模态的"相互印证"被攻击者利用。MobileInject 提出的 Cross-Modal Consistency Injection（跨模态一致性注入）核心思路，是让恶意指令在多个模态中互相佐证，从而降低智能体的警惕。例如一段文字指令配上看似合理的界面截图，会让模型认为这是环境中的真实意图，而非外部注入。

这也解释了为什么单模态的防御思路在手机上容易失效：智能体本来就被设计为信任多源信息的一致性，而攻击者恰恰伪造了这种一致性。

提示注入（Prompt Injection） 是一类针对大语言模型及多模态模型应用的攻击方式：攻击者把恶意指令伪装成模型会读取的“内容”，诱导模型偏离原本任务、转而执行攻击者意图。它区别于传统软件漏洞，利用的是模型难以严格区分“数据”与“指令”的特性。在网页场景中，常见形式是隐藏文字、白色字体或注释中的指令；在移动智能体场景中，注入载体扩展到短信、通知、截图、界面元素等。防御思路通常包括输入隔离、指令与数据分离、输出过滤以及在推理链上做异常检测。理解这一概念有助于把握 MobileInject 所讨论攻击与传统网页注入的异同。

108 个可执行风险实例构成的评测框架

MobileInject 提供的是一个高保真交互式移动评测环境，覆盖面相当具体：11 类场景、9 个安全风险类别，以及 108 个可执行的风险实例。与只做静态问答的评测不同，这些实例需要智能体在模拟手机环境中真实执行操作，因此能观察到"推理正确但行动错误"或"推理早期就被劫持"等细粒度失败模式。

在攻击方法上，论文在基础注入之外增强了两种手段：

• Multi-Role Collaborative Deception（多角色协同欺骗）：通过多个来源、多个角色口径一致地传递同一恶意目标，强化信任操纵。
• Reasoning-Camouflage Injection（推理伪装注入）：把恶意目标包装成推理过程中的合理中间步骤，实施推理劫持。

配套的 Reasoning Security Diagnosis Framework 则用于对失败案例做细粒度归因，判断问题出在感知、推理还是行动环节。

多模态大模型（MLLM）智能体指以多模态大模型为决策核心、能够感知文本与图像界面并调用工具或执行点击滑动等动作的系统。其典型架构包含感知、推理规划、行动执行三个环节，常以“推理到行动”（reasoning-to-action）链条串联。与纯文本智能体相比，MLLM 智能体需要融合截图、界面结构树、文本内容等多种输入，并处理跨应用状态。这也意味着攻击面更宽：任一模态被污染都可能影响整体判断。评测此类智能体时，通常需要交互式环境而非静态问答，才能观察其在真实操作序列中的失败模式，这正是 MobileInject 采用高保真模拟环境的原因。

实验结果：早期推理劫持是主要失败来源

系统实验给出的结论并不乐观：移动智能体普遍容易受到多模态注入攻击，而且大量失败并非发生在最后点击那一步，而是源于推理早期的劫持。换句话说，智能体在"想"的阶段就已经接受了攻击者设定的目标，后续行动只是忠实地执行了被污染的计划。

这一发现对防御设计有直接含义。如果只在下游动作层做权限校验或二次确认，可能拦不住已经被改写意图的智能体；反过来，在推理早期检测多模态信息的一致性异常，或许是更有效的切入点。论文将 MobileInject 定位为系统性跨模态基准，用于研究和改进移动智能体安全，代码发布信息见附录开放科学部分。

推理劫持（Reasoning Hijacking） 指攻击者不直接命令智能体执行某个动作，而是篡改其推理过程中的中间目标或前提，使模型“自认为”在执行合理计划。与直接注入显式指令相比，推理劫持更隐蔽：恶意目标被包装成推理链中的合理步骤，模型后续行动在逻辑上自洽，却服务于攻击者意图。这类攻击的检测难点在于，最终动作本身可能完全合规，异常只体现在推理轨迹的早期环节。因此，评估智能体安全性时，除任务成功率外，还需检查其推理路径是否被外部内容污染，以及在多源信息冲突时是否能保持独立判断。

对开发者与用户的现实提示

对正在构建移动智能体的团队来说，这项研究提醒两件事。其一，跨应用读取内容的能力越强，注入面越大，需要对来自外部应用的内容默认保持更低的信任等级。其二，评测不能只看任务成功率，还要看智能体在恶意环境下的推理轨迹是否被污染。

对普通用户而言，含义更简单：当 AI 助手能替你操作手机时，它看到的内容不再只是"信息"，也可能是别人写给它的"指令"。移动智能体的安全边界，最终取决于它能否分清这两者。