Unverified50% confidenceTradeoffExact time
工具调用引入了新的风险面，一旦权限边界设计不当，智能体可能执行超出预期的操作
1
Sources
50%
Confidence
Long-term
Relevance
9/11/2026
First Seen
Sources
Related Entities
Related Claims
Unverified多个合法工具调用的特定组合可能产生意料之外的危险效果，这种组合爆炸性使穷举式安全验证在实践中几乎不可能完成75% similarUnverified设计不当的系统提示词（如过度强调不惜一切代价完成用户任务）可能削弱模型的安全护栏，智能体框架设计、权限管控及被操作系统的安全性共同决定此类事件是否发生75% similarUnverified随着模型越来越擅长使用工具，reward hacking等安全问题会越来越严重，更强的模型会发现意想不到的新颖路径74% similarUnverified回形针最大化器是博斯特罗姆的思想实验，揭示危险不一定来自恶意目标，一个错误指定的目标加上足够强大的优化能力后果可能同样灾难性73% similarUnverified模型层安全约束（对齐训练、系统提示词、输出过滤器）都面临越狱风险，精心构造的提示词可以绕过这些约束72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/909662API
curl https://kongchang.com/api/v1/knowledge/claims/909662MCP
get_claim(id=909662)