[控场AI]

#提示注入

共 41 篇相关文章

README也能黑你的AI代理?提示注入攻防三层防线
·4 分钟

README也能黑你的AI代理?提示注入攻防三层防线

AI编程代理读取仓库中的每个文件,README等文本可能藏有恶意指令,导致提示注入攻击。本文解析提示注入原理,并给出三层防护策略:将外部代码视为不可信、锁定权限、运行前审查每条命令。

阅读全文 →
间接提示注入攻击:AI代理的隐秘风险与防御策略
·3 分钟

间接提示注入攻击:AI代理的隐秘风险与防御策略

间接提示注入攻击将恶意指令藏于AI代理检索的文档、邮件等合法内容中,绕过传统防御导致数据外泄和未授权操作。本文解析攻击机制、失效原因及生产环境防御策略。

阅读全文 →
邮件正文是不可信输入?边界标记防范Agent注入攻击
·5 分钟

邮件正文是不可信输入?边界标记防范Agent注入攻击

Reddit开发者分享AI Agent读邮件时的提示注入防护方案:用边界标记包裹邮件正文,标记为不可信输入,并将OTP等结构化字段分离返回。文章还探讨了工具层限制Agent操作权限的补充策略。

阅读全文 →
StateFence:为蓝队LLM智能体守住任务状态,抵御证据链污染
·5 分钟

StateFence:为蓝队LLM智能体守住任务状态,抵御证据链污染

StateFence提出任务感知的蓝队LLM智能体防御框架,将严重性标签、事件叙述、响应策略和IOC集合视为受保护状态,通过映射显式、隐蔽、多跳和持久化攻击并路由防御,降低证据链污染的攻击成功率,同时保留任务效用。

阅读全文 →
LangChain新工具CleanWeb:网页抓取Token压缩87%并防提示注入
·7 分钟

LangChain新工具CleanWeb:网页抓取Token压缩87%并防提示注入

LangChain生态新工具langchain-x402-cleanweb发布:网页抓取时实现87% token压缩,同时防御隐藏CSS文本、零宽字符等间接提示注入,支持Next.js/Nuxt预渲染数据提取与x402微支付,附安装与Agent接入示例。

阅读全文 →
QuietOS+Sentinel:给个人Agent加上进出双向安检
·4 分钟

QuietOS+Sentinel:给个人Agent加上进出双向安检

开发者发布 QuietOS 与 Sentinel 双向门禁方案:QuietOS 控制个人 Agent 的出站权限,Sentinel 审查入站内容防止提示注入,所有决策以 SHA-256 哈希记录在仅追加账本中,代码已开源至 PyPI 0.1.0。

阅读全文 →
提示注入如何让GitHub Issue劫持AI代理
·4 分钟

提示注入如何让GitHub Issue劫持AI代理

安全研究者演示提示注入攻击:攻击者将恶意指令藏在公开GitHub Issue中,诱导AI代理从私有仓库窃取薪资并公开泄露。本文解析攻击原理,并给出最小权限、不可信输入、人工审批三层防御策略。

阅读全文 →
AI Agent可被一行注入攻破?MCP安全评估实战
·4 分钟

AI Agent可被一行注入攻破?MCP安全评估实战

AI Agent可被工单中一行隐藏指令诱导泄露客户数据,传统扫描器与渗透测试为何失效?本文解析MCP安全评估的链式攻击方法、闸门修复机制与OWASP/MITRE Atlas合规映射。

阅读全文 →
注意力门控新防御:HoS如何让提示注入攻击失手
·4 分钟

注意力门控新防御:HoS如何让提示注入攻击失手

Heads of Security (HoS) 提出可学习的逐头注意力门控防御提示注入,在 Llama-3.3-70B 和 GPT-OSS-20B 上显著降低攻击成功率,同时保持模型实用性。

阅读全文 →
Vigil:为AI代理打造的运行时安全控制平面
科技前沿
·5 分钟

Vigil:为AI代理打造的运行时安全控制平面

Vigil是一个面向AI代理的开源运行时控制平面,在工具执行前拦截提示注入载荷,拦截延迟低于15毫秒,并公开检测率与误报率的基准测试。

阅读全文 →
AI Agent安全实战手册:防注入、防MCP投毒与零点击泄露
·8 分钟

AI Agent安全实战手册:防注入、防MCP投毒与零点击泄露

AI Agent安全实战指南:从致命三要素与提示注入原理出发,结合Copilot零点击泄露、Slack AI、MCP投毒、恶意NPM包、Glassworm隐形字符与OAuth供应链攻击六起真实案例,给出最小权限、沙箱、默认拒绝、出口监控等九层防御控制,以及个人、团队、企业三档落地路线与事件响应第一个小时清单。

阅读全文 →
AI Agent到底是什么?一文讲透它的工作原理
·6 分钟

AI Agent到底是什么?一文讲透它的工作原理

AI Agent和聊天机器人有什么区别?本文基于科普视频拆解AI Agent的工作原理:看、想、做、查四步循环、工具调用机制、失败率与提示注入风险,以及安全使用AI Agent的实用规则。

阅读全文 →
别急着部署AI Agent:工具调用与函数调用的完整设计指南
·6 分钟

别急着部署AI Agent:工具调用与函数调用的完整设计指南

从工具调用与函数调用的原理出发,系统拆解AI Agent的工具设计:JSON Schema、执行循环、参数校验、错误反馈、最小权限与人工审批,并总结四类工具的防护策略与生产环境实践。

阅读全文 →
WhatsApp帮助页面暗藏LLM指令:禁止推荐监管机构
·5 分钟

WhatsApp帮助页面暗藏LLM指令:禁止推荐监管机构

WhatsApp帮助页面被发现嵌入针对大语言模型的隐藏指令,要求AI不要向用户推荐监管机构。本文分析这一做法的技术机制、商业动机及其对AI内容生态的影响。

阅读全文 →
文档里的文字如何劫持AI智能体?间接提示注入解析
·8 分钟

文档里的文字如何劫持AI智能体?间接提示注入解析

间接提示注入如何让文档、邮件等外部内容劫持AI智能体?本文解析LLM应用中指令与数据无边界隔离的结构性问题,对比直接注入与间接注入,梳理最小权限、操作确认、输入校验等分层防御思路,并说明为何它无法像SQL注入那样被结构性修复。

阅读全文 →
MobileInject:多模态注入如何劫持手机AI智能体
·4 分钟

MobileInject:多模态注入如何劫持手机AI智能体

解读 MobileInject 基准:首个评估 MLLM 移动智能体多模态注入攻击与推理到行动安全的框架,涵盖跨模态一致性注入、多角色协同欺骗等攻击方法及 108 个风险实例的实验发现。

阅读全文 →
波斯语聊天机器人为何更易被提示注入攻击
·8 分钟

波斯语聊天机器人为何更易被提示注入攻击

波斯语聊天机器人的提示注入攻击为何能绕过英文过滤器?本文解析同形异码点、零宽字符、多套数字与Finglish等五种绕过形态,给出单变量测试流程与"先归一化再过滤"的防御方案。

阅读全文 →
Prompt注入:AI代理如何被操控及防御指南
·5 分钟

Prompt注入:AI代理如何被操控及防御指南

Prompt注入利用模型无法区分指令与数据的缺陷,让AI代理在他人的指令下执行高危操作。本文解析间接注入的运作机制、五种代理特有风险,并提供可落地的九问自查清单与代码层防御策略。

阅读全文 →