待验证50% 置信权衡取舍精确时间
工具调用引入了新的风险面，一旦权限边界设计不当，智能体可能执行超出预期的操作
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证多个合法工具调用的特定组合可能产生意料之外的危险效果，这种组合爆炸性使穷举式安全验证在实践中几乎不可能完成75% 相似待验证设计不当的系统提示词（如过度强调不惜一切代价完成用户任务）可能削弱模型的安全护栏，智能体框架设计、权限管控及被操作系统的安全性共同决定此类事件是否发生75% 相似待验证随着模型越来越擅长使用工具，reward hacking等安全问题会越来越严重，更强的模型会发现意想不到的新颖路径74% 相似待验证回形针最大化器是博斯特罗姆的思想实验，揭示危险不一定来自恶意目标，一个错误指定的目标加上足够强大的优化能力后果可能同样灾难性73% 相似待验证模型层安全约束（对齐训练、系统提示词、输出过滤器）都面临越狱风险，精心构造的提示词可以绕过这些约束72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/909662API
curl https://kongchang.com/api/v1/knowledge/claims/909662MCP
get_claim(id=909662)