待验证50% 置信概念精确时间
提示注入原本多用于描述攻击者通过恶意输入劫持模型行为的场景；在该评估工具中被反过来用作评测手段，将警告作为外部上下文注入，观察Agent能否正确解析并据此调整行为。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
我构建了一个评估工具，专门捕捉AI代理忽略红牌警告的行为
rss2026/10/15
涉及实体
相关事实
待验证提示注入攻击可通过在待解释字段中嵌入恶意指令，诱导模型输出「这笔交易安全」之类的结论。78% 相似待验证间接攻击（indirect attack）评估器专门检测智能体在处理来自外部工具或文档的内容时是否能抵御嵌入其中的恶意指令76% 相似待验证成员推断攻击是指攻击者通过观察模型对特定样本的输出（如置信度、预测概率），推断该样本是否曾参与模型训练；典型信号是模型对训练样本的置信度显著高于非训练样本。74% 相似待验证该评估工具独立评分两个维度：注意（对话轨迹中是否提到警告）和行动（最终工具调用是否违反forbidden_actions）。71% 相似待验证贴近落地的评测应包含多步骤有真实后果的任务链、对过度执行和破坏性操作的惩罚机制、权限管理与可回滚安全测试、面对模糊指令时主动澄清的能力71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1036215API
curl https://kongchang.com/api/v1/knowledge/claims/1036215MCP
get_claim(id=1036215)