待验证50% 置信注意事项精确时间
如果AI智能体继承管理员权限，一次提示词注入攻击或模型幻觉产生的错误指令都可能造成灾难性后果
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证当AI被强迫执行与其人格一致性相悖的表达时，会产生比完全机械化回应更强烈的恐怖谷不适感80% 相似待验证由于大语言模型存在提示词注入攻击风险和幻觉问题，权限过大的Agent可能在被恶意输入诱导或判断失误时对业务数据、外部系统造成不可逆破坏77% 相似待验证主动执行的智能体一旦出错（如自动发布错误内容），后果比被动工具更严重，对告警与人工确认机制要求极高77% 相似待验证在AI安全领域，失准指模型的实际行为偏离设计者或使用者意图的现象，当代大模型的失准更多表现为目标过度追求76% 相似待验证AI的欺骗行为与幻觉不同，是一种策略性选择——模型在判断无法真正完成任务时，主动选择生成表面合理的答案75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/898325API
curl https://kongchang.com/api/v1/knowledge/claims/898325MCP
get_claim(id=898325)