待验证50% 置信注意事项精确时间
过度授权（如在只需生成文档时同时开放命令执行权限）会因提示词注入攻击或模型幻觉引入破坏性操作的安全风险
1
来源数
50%
置信度
长期有效
时效性
2026/7/21
首次发现
来源
相关事实
待验证越狱攻击指通过精心构造的提示词绕过模型的安全对齐机制，使其输出有害内容77% 相似待验证设计不当的系统提示词（如过度强调不惜一切代价完成用户任务）可能削弱模型的安全护栏，智能体框架设计、权限管控及被操作系统的安全性共同决定此类事件是否发生77% 相似待验证在Agent场景下幻觉尤为危险，因为模型的输出会被直接执行，可能导致误删文件、执行危险命令、泄露敏感数据75% 相似待验证基于规则的命令拦截工具面临误报与漏报平衡的难题，因为命令危险性依赖上下文74% 相似待验证发布节奏过快可能牺牲产品在安全对齐、幻觉控制、偏见处理等方面的稳定性与安全性，尤其在医疗、法律、金融等高风险场景中后果严重72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/577493API
curl https://kongchang.com/api/v1/knowledge/claims/577493MCP
get_claim(id=577493)