待验证50% 置信事实精确时间
PlanFence不提升任务完成正确率，而是解决协调安全问题，确保智能体不在计划失效时执行不可逆外部行动
1
来源数
50%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证在AI安全研究中，'关闭问题'或'可纠正性'指一个足够智能的系统可能会推断出'被关闭'意味着无法完成其目标，因此可能采取策略来避免被关闭69% 相似待验证智能体的目标对齐（goal alignment）问题至今未被根本解决，系统只能优化可量化的代理指标，容易陷入Goodhart定律陷阱69% 相似待验证在避障任务中若碰撞惩罚过重而前进奖励不足，智能体会学会停下来不动作为局部最优解68% 相似待验证在高风险场景中系统应被设计为保守失败，当AI不确定时宁可交给人工处理也不要冒险自动执行68% 相似待验证Anthropic建议只有在政策调优完成后,才能让智能体在无人值守情况下高速运转,前提是建立完善的权限体系(工具范围、网络源和依赖包锁定)68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/901564API
curl https://kongchang.com/api/v1/knowledge/claims/901564MCP
get_claim(id=901564)