提示注入攻击
一种针对LLM的安全攻击手段，攻击者在输入或外部内容中嵌入伪装成系统指令的文本，覆盖或篡改原始系统提示词，劫持模型行为，类比传统SQL注入攻击
核心事实
时间轴 (近 90 天)
应将客户消息视为任务数据而非修改工作流的授权，这是对提示注入攻击的直接防御
应对提示注入攻击的方式包括对敏感操作强制人工审批、限制Agent权限范围、沙盒化执行环境，但目前尚无完美解决方案
提示注入攻击指智能体所处环境出现被恶意构造的网页注入新指令，导致行为偏离设计者预期
间接注入是指攻击者将恶意指令藏在模型会读取的外部内容中（如网页正文、邮件正文或文档内容）
由于大模型本身无法严格区分指令与数据，提示词注入从根本上很难被彻底消除
大模型倾向于用通用推理来解决问题，而缺乏对领域特定规则的严格遵守和自我验证能力
红队演练源自军事和网络安全领域，在AI安全语境中已发展出Prompt层面攻击、训练基础设施安全测试、模型自身能力风险测试等多个层次
提示注入攻击（Prompt Injection）指恶意第三方在Agent处理的内容中嵌入指令，劫持Agent的行为意图
全部知识事实 (12)
Prompt注入（Prompt Injection）是针对大语言模型应用的安全威胁，攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证间接提示注入攻击通过在正常业务数据中植入隐藏指令，诱导Agent执行未经授权的操作，属于语义层面而非代码层面的安全风险
80%已验证红队演练源自军事和网络安全领域，在AI安全语境中已发展出Prompt层面攻击、训练基础设施安全测试、模型自身能力风险测试等多个层次
75%已验证间接注入是指攻击者将恶意指令藏在模型会读取的外部内容中（如网页正文、邮件正文或文档内容）
65%已验证由于大模型本身无法严格区分指令与数据，提示词注入从根本上很难被彻底消除
65%已验证大模型倾向于用通用推理来解决问题，而缺乏对领域特定规则的严格遵守和自我验证能力
65%已验证AI桌面代理面临的核心安全风险包括提示注入攻击、权限升级风险和不可逆操作风险
65%待验证提示注入攻击（Prompt Injection）指恶意第三方在Agent处理的内容中嵌入指令，劫持Agent的行为意图
60%待验证应将客户消息视为任务数据而非修改工作流的授权，这是对提示注入攻击的直接防御
50%待验证应对提示注入攻击的方式包括对敏感操作强制人工审批、限制Agent权限范围、沙盒化执行环境，但目前尚无完美解决方案
50%待验证提示注入攻击指智能体所处环境出现被恶意构造的网页注入新指令，导致行为偏离设计者预期
50%待验证计算机使用能力的核心安全风险包括Prompt Injection攻击和未经授权访问敏感本地数据
50%