提示词注入
一种针对AI系统的攻击技术,通过在AI读取的文本内容中植入恶意指令,诱使AI模型偏离原有目标执行攻击者设计的行为,是大语言模型驱动的Agent面临的核心安全威胁之一
核心事实
时间轴 (近 90 天)
OWASP将提示词注入分为两类:直接注入(用户输入操纵模型)和间接注入(攻击载荷藏在模型读取的外部内容里)
注入与数据探测类攻击在真实客户操作中出现概率低于前四组,但危害等级最高,因此必须纳入测试
大语言模型本质上无法在结构层面区分系统指令与用户输入,使得注入攻击在技术上难以完全消除
OWASP将提示注入列为LLM Top 10的首位风险(LLM01)
基于过滤/检测的防御(如扫描'忽略之前的指令'短语)因结构性原因注定失败,因为自然语言没有区分指令与数据的语法
有状态规则:一旦会话读取过疑似密钥形态的内容,该会话后续的外部出站通信即被关闭,可阻止'读取密钥然后发送'的攻击
当致命三要素三者同时出现在一次会话中,一次成功的注入就能读取敏感信息并把它发送出去
分类器是概率性的,一个能拦截95%尝试的过滤器相当于给攻击者留了5%的门,而攻击者有无限次重试机会
目前学术界和工业界对提示词注入尚无完美防御方案,常见缓解手段包括区隔外部内容与系统指令、限制高风险工具权限、敏感操作前强制人工确认
护栏(Guard)位于模型与工具函数之间,承担安全校验职责,在调用工具之前先行校验,是防范提示词注入和异常操作的关键机制
还有 29 条时间轴事件
全部知识事实 (20)
Prompt注入(Prompt Injection)是针对大语言模型应用的安全威胁,攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证提示注入攻击通过在代码注释、文档、网页内容甚至文件名中嵌入伪装成系统指令的文本,诱导AI代理执行恶意操作
80%已验证提示词注入已成为智能体安全领域最受关注的攻击面之一
75%已验证提示注入是一种针对大语言模型的攻击手法,攻击者通过在模型输入数据中嵌入恶意指令劫持模型的正常行为
75%已验证提示注入(Prompt Injection)本质上是大模型无法区分数据与指令的架构性缺陷,与传统SQL注入中数据库引擎混淆数据与SQL指令类似
75%已验证提示词注入攻击(Prompt Injection)可通过精心构造的用户输入诱导模型忽略系统提示词的约束
70%已验证由于大模型本身无法严格区分指令与数据,提示词注入从根本上很难被彻底消除
65%已验证提示词注入通过在智能体处理的外部内容中嵌入伪装成指令的文本,诱导智能体偏离原始任务意图
65%已验证提示词注入可分为直接注入和间接注入两种,间接注入是攻击者将恶意指令藏在网页、PDF、邮件等外部数据源中,当AI代理处理这些数据时恶意指令被当作合法指令执行
65%已验证间接提示注入的原理是攻击者将恶意指令伪装成正常数据,通过Agent信任的数据源传递给模型,诱使模型将数据解读为指令并执行
65%已验证LLM 存在提示注入攻击风险,恶意网页或文件可通过嵌入隐藏指令诱导 AI 执行非预期操作
65%待验证Skills Store的审核机制包括检查是否存在提示词注入风险或数据泄露隐患
75%部分验证OWASP将提示注入列为LLM Top 10的首位风险(LLM01)
65%待验证提示注入的本质是攻击者通过精心构造的文本内容,劫持大语言模型的执行逻辑
60%待验证研究人员发现,隐藏字符手法可用于对大语言模型发起提示注入攻击,在正常文本中夹带模型会解析执行的隐藏指令
60%待验证OWASP将提示词注入分为两类:直接注入(用户输入操纵模型)和间接注入(攻击载荷藏在模型读取的外部内容里)
50%待验证注入与数据探测类攻击在真实客户操作中出现概率低于前四组,但危害等级最高,因此必须纳入测试
50%待验证大语言模型本质上无法在结构层面区分系统指令与用户输入,使得注入攻击在技术上难以完全消除
50%待验证分类器是概率性的,一个能拦截95%尝试的过滤器相当于给攻击者留了5%的门,而攻击者有无限次重试机会
50%待验证当致命三要素三者同时出现在一次会话中,一次成功的注入就能读取敏感信息并把它发送出去
50%