待验证50% 置信事实精确时间

即便在提示词中写明不要发送私人信息，模型在复杂或歧义场景下仍可能产生与预期不符的行为

1

来源数

50%

置信度

长期有效

时效性

2026/10/10

首次发现

来源

AI助手把银行信息发到公司Slack：Agent隐私风险警示

涉及实体

相关事实

待验证依赖提示词约束来防止危险操作本质上不可靠,因为模型可能被越狱、误判或在长对话中遗忘约束77% 相似待验证模型对忽略某信息这类负向指令的遵循能力可能远比假设的要弱77% 相似待验证模糊的工具授权提示词描述容易引发不同模型截然不同的执行策略73% 相似已验证当模型缺乏最新信息时可能不会承认不知道，而是编造看似合理但实际错误的答案（幻觉）72% 相似待验证大模型在处理上下文时缺乏天然的'指令来源可信度'区分机制，难以自动甄别哪些文字是可执行的授权指令，哪些只是应被处理的数据内容72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/994665

API

curl https://kongchang.com/api/v1/knowledge/claims/994665

MCP

get_claim(id=994665)