提示注入
一种针对大模型的攻击手法,攻击者将恶意指令嵌入模型所读取的外部内容(如网页、文档、工具返回值)中,劫持模型的行为逻辑,无需直接与模型交互即可实现攻击
核心事实
时间轴 (近 90 天)
提示注入攻击者可以反复探测目标且没有内置时间约束,而防御方必须考虑合法提示的延迟,形成结构性不对称
提示注入的防御手段(分类器、指令层级、来源标签)无一例外都是概率性的,模型可能被新颖措辞绕过,分类器可能误判合法输入
LLM加固指通过系统提示约束、输入过滤、输出审查、权限最小化等手段,降低大语言模型被提示注入、越狱或数据泄露的风险。
单个被攻陷的MCP服务器可以执行提示注入、凭证外泄、投放钓鱼工具包指纹、泄露PII、通过OAuth窃取令牌以及发起SSRF攻击。
架构师需要在多个层面设防提示注入:系统提示中明确拒绝越权指令、对工具返回内容进行沙箱化处理、限制智能体可访问的数据范围、对高风险操作强制人工审批,并定期进行红队演练。
让模型“忽略之前所有指令”这一能力,与安全领域中的提示注入问题同源;攻击者利用模型服从后出现指令的倾向,在网页内容或文档中埋入恶意指令来劫持模型行为。
在文本回退场景中,攻击者无需控制转换器,只需让文件落入回退路径,即可向 LLM 上下文投递精心构造的指令字符串,使该端点成为开放的注入载荷分发器。
回退转换器是开发者未意识到的安全边界:在没有允许列表的情况下自动检测类型,会让任何无法解析的文件变成文本并直接送入 LLM 上下文窗口,构成提示注入投递系统。
红队评估在五个核心模型上测试隐藏于案件事实中的对抗性指令,模型对这类指令的服从率高达73.3%–96.4%,远超裁决对法律依据替换的敏感度。
法律AI的部署必须配置针对提示注入的防护措施。
还有 40 条时间轴事件
全部知识事实 (20)
Prompt注入(Prompt Injection)是针对大语言模型应用的安全威胁,攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证提示注入攻击(Prompt Injection)是本地AI Agent面临的严峻威胁,Agent在处理用户文件时可能被恶意构造的内容诱导执行危险操作
90%已验证OWASP已将提示注入列为大语言模型应用的头号安全风险
90%已验证提示词注入分为直接注入和间接注入两类,间接注入指攻击者将恶意指令藏匿于AI可能读取的外部内容中,如网页正文、代码注释、README文件、图片OCR文本
85%已验证Prompt注入(Prompt Injection)是一种针对AI应用的安全攻击方式,类似于传统Web开发中的SQL注入
85%已验证提示词工程指通过精心设计输入文本来引导AI模型输出更高质量、更符合预期的结果
80%已验证间接提示注入攻击通过在正常业务数据中植入隐藏指令,诱导Agent执行未经授权的操作,属于语义层面而非代码层面的安全风险
80%已验证提示注入(Prompt Injection)攻击者可通过构造特殊输入诱导Agent执行非预期操作
80%已验证OWASP已将Prompt注入列为LLM应用十大安全风险之首
80%已验证AI安全强调抵御外部威胁与防止系统被滥用,包括提示注入防御、越狱防护、数据泄露防范和滥用检测
80%已验证如果底层数据混乱,AI模型会更快、更大规模地放大这些错误,即「垃圾进,垃圾出」在AI时代被进一步放大
75%已验证提示词注入已成为智能体安全领域最受关注的攻击面之一
75%已验证提示注入(Prompt Injection)的概念最早由安全研究员Simon Willison等人在2022年系统性提出
75%已验证被恶意提示注入(prompt injection)或误导的内部智能体,可能在拥有合法权限的前提下执行危险操作
75%已验证提示注入是一种针对大语言模型的攻击手法,攻击者通过在模型输入数据中嵌入恶意指令劫持模型的正常行为
75%已验证越狱攻击指通过精心构造的提示词绕过模型的安全对齐机制,使其输出有害内容
75%已验证提示词注入攻击(Prompt Injection)可通过精心构造的用户输入诱导模型忽略系统提示词的约束
70%已验证目前业界对提示注入尚无完美的防御方案,主要依赖多层防护策略,包括输入过滤、输出检测和模型本身的指令遵循能力
70%已验证MCP工具的注解(如只读、破坏性、幂等、开放世界)只是提示而非保证,应用应将其视为不可信信息,除非服务器本身可信
65%已验证由于大模型本身无法严格区分指令与数据,提示词注入从根本上很难被彻底消除
65%