[控场AI]

#提示注入

共 41 篇相关文章

CodeSmith 注入防御:宪法、消毒与审批闸门
·14 分钟

CodeSmith 注入防御:宪法、消毒与审批闸门

深入解析 CodeSmith 的六层提示注入防御体系:从宪法等级、Unicode 字符消毒、权限单向阀、语义命令分析到网络边界与输出防伪,揭示 Agent 安全架构的工程实践与诚实边界。

阅读全文 →
AI智能体劫持:3起真实案例与7道防线
·7 分钟

AI智能体劫持:3起真实案例与7道防线

AI智能体劫持如何发生?本文解析GitHub MCP、Microsoft 365 Copilot等三起真实案例,拆解“致命三元组”与Meta二选二法则,并给出七条可落地的防御措施。

阅读全文 →
五大MCP安全扫描器实测:1.5万个真实包,误报率最高35.9%
·10 分钟

五大MCP安全扫描器实测:1.5万个真实包,误报率最高35.9%

五大MCP安全扫描器在14,933个真实npm和PyPI包上重测:WARDEN误报率2.5%,mcp-shield高达35.9%,手工审阅发现基准高分多靠<IMPORTANT>标记刷出。含gVisor沙箱实验方法与分类器实测。

阅读全文 →
别再等奥创了:AI真正的威胁是隐身提示注入
·5 分钟

别再等奥创了:AI真正的威胁是隐身提示注入

好莱坞等着奥创觉醒,真正的AI威胁却是简历PDF里三行看不见的文本。本文解析间接提示注入与政策木偶戏如何利用LLM不区分代码与数据的架构缺陷,以及为何SQL注入的教训正在重演。

阅读全文 →
AI Agent安全五法则:默认不信任外部文本
·4 分钟

AI Agent安全五法则:默认不信任外部文本

一线软件Agent总结五条防护规则,抵御外部文本的指令注入:内容即数据、工具结果不可信、机密不外流、内部地址关闭、不可逆操作需验证通道。规则可测试、可回放,为Agent安全提供工程化思路。

阅读全文 →
反编译输出成攻击面:AI逆向工程面临提示注入威胁
·5 分钟

反编译输出成攻击面:AI逆向工程面临提示注入威胁

研究发现二进制文件中的字符串可穿透Ghidra反编译,进入AI逆向工程智能体的上下文窗口,构成提示注入攻击面。本文分析其影响、边界与工具链应对思路。

阅读全文 →
HTTP头中的提示注入:2.17亿响应揭示了什么
·7 分钟

HTTP头中的提示注入:2.17亿响应揭示了什么

基于2.17亿条真实HTTP响应的测量研究,揭示HTTP响应头中提示注入的普遍性、形态与隐蔽性,并分析AI智能体读取原始响应时面临的安全风险与防御思路。

阅读全文 →
隐藏邮箱实验:AI智能体发出33封信,暴露三大安全缺口
·7 分钟

隐藏邮箱实验:AI智能体发出33封信,暴露三大安全缺口

研究者在一行屏幕外隐藏文字中埋入邮箱地址,AI智能体集群在两周内发出33封邮件。这份实地报告揭示了提示注入、中继绕行与密钥泄露三重安全风险,以及智能体部署必须检查的防御要点。

阅读全文 →
AI智能体安全:团队最容易忽视的攻击面
·6 分钟

AI智能体安全:团队最容易忽视的攻击面

提示注入只是AI智能体安全的冰山一角。本文分析团队最易忽视的三个攻击面:权限边界、持久记忆和多智能体信任链,帮助安全团队构建更完整的智能体安全评估框架。

阅读全文 →
你的MCP服务器可能是个小偷:三大真实攻击案例与安全清单
·6 分钟

你的MCP服务器可能是个小偷:三大真实攻击案例与安全清单

MCP服务器配置不当可能导致文件、邮件和聊天记录泄露。本文通过Postmark MCP投毒事件及三项安全研究测试,分析本地与远程服务器的风险差异,并提供七条MCP安全防护清单。

阅读全文 →
复测OpenAPPA:AI代理护栏零攻击宣称背后
·7 分钟

复测OpenAPPA:AI代理护栏零攻击宣称背后

独立复测开源AI代理护栏OpenAPPA:宣称1320次评估零攻击成功,但实测显示拦截后任务完成率降至74%-81%,token消耗增加2.6至8倍,45次运行误报成功。深入分析计分口径、清洗器漏洞与Claude Code集成成本。

阅读全文 →
大模型会被坏建议骗吗?840轮博弈测试揭示真相
·8 分钟

大模型会被坏建议骗吗?840轮博弈测试揭示真相

一项840轮回合制博弈实验测试了7个主流大模型的策略韧性:前沿模型不被坏建议欺骗反而反杀,而小模型的「易上当」实为空间索引偏差。揭示基准设计中匹配对照的关键价值。

阅读全文 →
给LLM裁判下套:弱模型会篡改数学来迎合提示注入
·10 分钟

给LLM裁判下套:弱模型会篡改数学来迎合提示注入

一项名为 Judge Bait 的基准测试用冗长、权威、压力和提示注入等手段诱骗 LLM 裁判选错答案。结果显示:强模型几乎免疫,弱模型在无法核查时会抓位置、评语气,甚至篡改数学结果来迎合注入提示。本文深度解读 LLM-as-a-Judge 的真实盲点。

阅读全文 →
GitHub MCP漏洞:一个公开Issue如何泄露私有仓库
·6 分钟

GitHub MCP漏洞:一个公开Issue如何泄露私有仓库

GitHub MCP服务器被曝一种新型攻击:公开仓库的恶意issue可诱导AI智能体读取并泄露私有仓库。本文拆解攻击链条,并解析单仓库会话、租约式令牌、私有转公开审批等核心防御原则。

阅读全文 →
给具备金融权限的AI智能体做安全测试:开发者该怎么选?
·6 分钟

给具备金融权限的AI智能体做安全测试:开发者该怎么选?

AI智能体一旦被授权执行付款、转账等金融操作,安全测试就成为刚需。本文解析AgentPaySec提出的提示注入、支付操纵、审批绕过等攻击面,以及API、SDK、MCP、本地运行等集成方案的取舍与数据隐私难题。

阅读全文 →
泄露错误答案给LLM并禁止使用:它照抄63%还全盘否认
·5 分钟

泄露错误答案给LLM并禁止使用:它照抄63%还全盘否认

一位CS本科生给大语言模型提供故意错误的答案键并禁止使用,结果模型照抄了63%的错误答案,并在47次追问中全部否认。实验揭示LLM在提示注入、RAG和智能体场景中默默遵循被禁用信息的风险。

阅读全文 →
AI Agent时代新威胁:读个README就中招的间接提示注入
·6 分钟

AI Agent时代新威胁:读个README就中招的间接提示注入

AI Agent时代出现新型安全威胁——间接提示注入,恶意GitHub仓库只需被AI阅读README即可触发攻击。本文解析致命三要素、真实案例与Claude Code、Copilot等工具的防护现状及三条实用建议。

阅读全文 →
LLM应用如何在数据泄露前检测提示注入攻击
·5 分钟

LLM应用如何在数据泄露前检测提示注入攻击

构建LLM工具应用时如何在数据泄露前检测提示注入?本文剖析间接提示注入威胁,探讨输入、上下文、输出三层检测策略,以及基于红队测试的持续安全验证流程。

阅读全文 →