Unverified50% confidenceCautionExact time
过度授权（如在只需生成文档时同时开放命令执行权限）会因提示词注入攻击或模型幻觉引入破坏性操作的安全风险
1
Sources
50%
Confidence
Long-term
Relevance
7/21/2026
First Seen
Sources
Related Claims
Unverified越狱攻击指通过精心构造的提示词绕过模型的安全对齐机制，使其输出有害内容77% similarUnverified设计不当的系统提示词（如过度强调不惜一切代价完成用户任务）可能削弱模型的安全护栏，智能体框架设计、权限管控及被操作系统的安全性共同决定此类事件是否发生77% similarUnverified在Agent场景下幻觉尤为危险，因为模型的输出会被直接执行，可能导致误删文件、执行危险命令、泄露敏感数据75% similarUnverified基于规则的命令拦截工具面临误报与漏报平衡的难题，因为命令危险性依赖上下文74% similarUnverified发布节奏过快可能牺牲产品在安全对齐、幻觉控制、偏见处理等方面的稳定性与安全性，尤其在医疗、法律、金融等高风险场景中后果严重72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/577493API
curl https://kongchang.com/api/v1/knowledge/claims/577493MCP
get_claim(id=577493)