#提示注入
共 41 篇相关文章

README也能黑你的AI代理?提示注入攻防三层防线
AI编程代理读取仓库中的每个文件,README等文本可能藏有恶意指令,导致提示注入攻击。本文解析提示注入原理,并给出三层防护策略:将外部代码视为不可信、锁定权限、运行前审查每条命令。

间接提示注入攻击:AI代理的隐秘风险与防御策略
间接提示注入攻击将恶意指令藏于AI代理检索的文档、邮件等合法内容中,绕过传统防御导致数据外泄和未授权操作。本文解析攻击机制、失效原因及生产环境防御策略。

邮件正文是不可信输入?边界标记防范Agent注入攻击
Reddit开发者分享AI Agent读邮件时的提示注入防护方案:用边界标记包裹邮件正文,标记为不可信输入,并将OTP等结构化字段分离返回。文章还探讨了工具层限制Agent操作权限的补充策略。

StateFence:为蓝队LLM智能体守住任务状态,抵御证据链污染
StateFence提出任务感知的蓝队LLM智能体防御框架,将严重性标签、事件叙述、响应策略和IOC集合视为受保护状态,通过映射显式、隐蔽、多跳和持久化攻击并路由防御,降低证据链污染的攻击成功率,同时保留任务效用。

LangChain新工具CleanWeb:网页抓取Token压缩87%并防提示注入
LangChain生态新工具langchain-x402-cleanweb发布:网页抓取时实现87% token压缩,同时防御隐藏CSS文本、零宽字符等间接提示注入,支持Next.js/Nuxt预渲染数据提取与x402微支付,附安装与Agent接入示例。

QuietOS+Sentinel:给个人Agent加上进出双向安检
开发者发布 QuietOS 与 Sentinel 双向门禁方案:QuietOS 控制个人 Agent 的出站权限,Sentinel 审查入站内容防止提示注入,所有决策以 SHA-256 哈希记录在仅追加账本中,代码已开源至 PyPI 0.1.0。

提示注入如何让GitHub Issue劫持AI代理
安全研究者演示提示注入攻击:攻击者将恶意指令藏在公开GitHub Issue中,诱导AI代理从私有仓库窃取薪资并公开泄露。本文解析攻击原理,并给出最小权限、不可信输入、人工审批三层防御策略。

AI Agent可被一行注入攻破?MCP安全评估实战
AI Agent可被工单中一行隐藏指令诱导泄露客户数据,传统扫描器与渗透测试为何失效?本文解析MCP安全评估的链式攻击方法、闸门修复机制与OWASP/MITRE Atlas合规映射。

注意力门控新防御:HoS如何让提示注入攻击失手
Heads of Security (HoS) 提出可学习的逐头注意力门控防御提示注入,在 Llama-3.3-70B 和 GPT-OSS-20B 上显著降低攻击成功率,同时保持模型实用性。
科技前沿Vigil:为AI代理打造的运行时安全控制平面
Vigil是一个面向AI代理的开源运行时控制平面,在工具执行前拦截提示注入载荷,拦截延迟低于15毫秒,并公开检测率与误报率的基准测试。

AI Agent安全实战手册:防注入、防MCP投毒与零点击泄露
AI Agent安全实战指南:从致命三要素与提示注入原理出发,结合Copilot零点击泄露、Slack AI、MCP投毒、恶意NPM包、Glassworm隐形字符与OAuth供应链攻击六起真实案例,给出最小权限、沙箱、默认拒绝、出口监控等九层防御控制,以及个人、团队、企业三档落地路线与事件响应第一个小时清单。

AI Agent到底是什么?一文讲透它的工作原理
AI Agent和聊天机器人有什么区别?本文基于科普视频拆解AI Agent的工作原理:看、想、做、查四步循环、工具调用机制、失败率与提示注入风险,以及安全使用AI Agent的实用规则。

别急着部署AI Agent:工具调用与函数调用的完整设计指南
从工具调用与函数调用的原理出发,系统拆解AI Agent的工具设计:JSON Schema、执行循环、参数校验、错误反馈、最小权限与人工审批,并总结四类工具的防护策略与生产环境实践。

WhatsApp帮助页面暗藏LLM指令:禁止推荐监管机构
WhatsApp帮助页面被发现嵌入针对大语言模型的隐藏指令,要求AI不要向用户推荐监管机构。本文分析这一做法的技术机制、商业动机及其对AI内容生态的影响。

文档里的文字如何劫持AI智能体?间接提示注入解析
间接提示注入如何让文档、邮件等外部内容劫持AI智能体?本文解析LLM应用中指令与数据无边界隔离的结构性问题,对比直接注入与间接注入,梳理最小权限、操作确认、输入校验等分层防御思路,并说明为何它无法像SQL注入那样被结构性修复。

MobileInject:多模态注入如何劫持手机AI智能体
解读 MobileInject 基准:首个评估 MLLM 移动智能体多模态注入攻击与推理到行动安全的框架,涵盖跨模态一致性注入、多角色协同欺骗等攻击方法及 108 个风险实例的实验发现。

波斯语聊天机器人为何更易被提示注入攻击
波斯语聊天机器人的提示注入攻击为何能绕过英文过滤器?本文解析同形异码点、零宽字符、多套数字与Finglish等五种绕过形态,给出单变量测试流程与"先归一化再过滤"的防御方案。

Prompt注入:AI代理如何被操控及防御指南
Prompt注入利用模型无法区分指令与数据的缺陷,让AI代理在他人的指令下执行高危操作。本文解析间接注入的运作机制、五种代理特有风险,并提供可落地的九问自查清单与代码层防御策略。

被忽略,而非被拒绝:小工具代理低注入成功率背后的真相
新研究审计33,000条轨迹发现,小工具代理的低提示注入攻击成功率主要反映代理忽略而非拒绝攻击。系统提示变化可使ASR从0.2%升至43%,且21.7%任务中代理安全但未完成用户请求。呼吁更细粒度评估。

总结任务不应能发送邮件:AI代理权限隔离的必修课
AI助手总结外部文档时可能遭遇提示注入,被诱导发送邮件或泄露数据。安全研究者Jonathan Melton指出,问题不在模型能力,而在会话权限设计。本文解析受监管行业的风险场景,提供四个权限审计问题和一套简单自测方法,帮助团队通过权限隔离构建确定性安全防线。