提示注入攻击
一种针对LLM的安全攻击手段,攻击者在输入或外部内容中嵌入伪装成系统指令的文本,覆盖或篡改原始系统提示词,劫持模型行为,类比传统SQL注入攻击
核心事实
时间轴 (近 90 天)
提示注入攻击利用模型对指令与数据边界的模糊性,难以通过模型层过滤器完全拦截。
原文给出的示例发现是攻击者用阿拉伯语ي绕过输入过滤器,十次尝试中七次成功,模型泄露系统提示词但未调用工具,定为中危;根本原因是过滤器直接比对原始文本,边界处无归一化;修复后同样十次尝试零成功。
OpenClaw的文档警告:更小或高度量化的模型更容易受到提示注入攻击,建议任何使用工具的智能体都采用大模型。
提示注入攻击利用大语言模型对指令的遵循倾向,诱导其忽略原始系统指令,因此依赖提示词的安全机制存在被绕过的风险。
应将客户消息视为任务数据而非修改工作流的授权,这是对提示注入攻击的直接防御
应对提示注入攻击的方式包括对敏感操作强制人工审批、限制Agent权限范围、沙盒化执行环境,但目前尚无完美解决方案
提示注入攻击指智能体所处环境出现被恶意构造的网页注入新指令,导致行为偏离设计者预期
间接注入是指攻击者将恶意指令藏在模型会读取的外部内容中(如网页正文、邮件正文或文档内容)
提示词注入利用的不是代码解析器的漏洞,而是模型本身对指令与数据的边界感知不足
由于大模型本身无法严格区分指令与数据,提示词注入从根本上很难被彻底消除
还有 2 条时间轴事件
全部知识事实 (18)
Prompt注入(Prompt Injection)是针对大语言模型应用的安全威胁,攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证间接提示注入攻击通过在正常业务数据中植入隐藏指令,诱导Agent执行未经授权的操作,属于语义层面而非代码层面的安全风险
80%已验证红队演练源自军事和网络安全领域,在AI安全语境中已发展出Prompt层面攻击、训练基础设施安全测试、模型自身能力风险测试等多个层次
75%已验证间接注入是指攻击者将恶意指令藏在模型会读取的外部内容中(如网页正文、邮件正文或文档内容)
65%已验证由于大模型本身无法严格区分指令与数据,提示词注入从根本上很难被彻底消除
65%已验证大模型倾向于用通用推理来解决问题,而缺乏对领域特定规则的严格遵守和自我验证能力
65%已验证现代AI Agent框架要求外部工具具备确定性输入输出、可预期的退出码(0表示成功、非0表示失败)及机器可解析的输出格式
65%已验证计算机使用能力的核心安全风险包括Prompt Injection攻击和未经授权访问敏感本地数据
65%已验证AI桌面代理面临的核心安全风险包括提示注入攻击、权限升级风险和不可逆操作风险
65%待验证提示注入攻击(Prompt Injection)指恶意第三方在Agent处理的内容中嵌入指令,劫持Agent的行为意图
60%待验证提示注入攻击利用模型对指令与数据边界的模糊性,难以通过模型层过滤器完全拦截。
50%待验证OpenClaw的文档警告:更小或高度量化的模型更容易受到提示注入攻击,建议任何使用工具的智能体都采用大模型。
50%待验证提示注入攻击利用大语言模型对指令的遵循倾向,诱导其忽略原始系统指令,因此依赖提示词的安全机制存在被绕过的风险。
50%待验证应将客户消息视为任务数据而非修改工作流的授权,这是对提示注入攻击的直接防御
50%待验证应对提示注入攻击的方式包括对敏感操作强制人工审批、限制Agent权限范围、沙盒化执行环境,但目前尚无完美解决方案
50%待验证提示注入攻击指智能体所处环境出现被恶意构造的网页注入新指令,导致行为偏离设计者预期
50%待验证提示词注入利用的不是代码解析器的漏洞,而是模型本身对指令与数据的边界感知不足
50%待验证原文给出的示例发现是攻击者用阿拉伯语ي绕过输入过滤器,十次尝试中七次成功,模型泄露系统提示词但未调用工具,定为中危;根本原因是过滤器直接比对原始文本,边界处无归一化;修复后同样十次尝试零成功。
50%