待验证50% 置信事实精确时间

大模型在处理上下文时缺乏天然的'指令来源可信度'区分机制，难以自动甄别哪些文字是可执行的授权指令，哪些只是应被处理的数据内容

1

来源数

50%

置信度

长期有效

时效性

2026/10/9

首次发现

来源

给具备金融权限的AI智能体做安全测试：开发者该怎么选？

涉及实体

大语言模型concept

相关事实

已验证由于大模型本身无法严格区分指令与数据，提示词注入从根本上很难被彻底消除80% 相似待验证由于LLM推理的决策路径难以提前穷举，基于规则的白名单策略往往不够用，检测系统还需具备语义理解和异常基线建模能力75% 相似待验证单纯依赖关键词过滤或规则引擎难以防御提示注入攻击，因为攻击载荷往往在语义层面伪装成合法指令，需要具备语言理解能力的模型才能有效甄别74% 相似待验证间接提示词注入的危险性高于直接注入，因为智能体往往无法区分需要处理的内容和应当遵循的指令74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/992206

API

curl https://kongchang.com/api/v1/knowledge/claims/992206

MCP

get_claim(id=992206)