[控场AI]
论文Safe Personal RSI

Safe Personal RSI

一种针对个人智能体提示词层递归自我改进的安全评估与修复流程,在采纳指令更新前同时检查安全与任务表现,并支持失败回退与修复反馈闭环。

时间轴 (近 90 天)

11月19日

Safe Personal RSI 是一个为个人智能体提示词更新设计的评估与修复流程组件,在采纳前同时检查安全与任务表现。

待验证50%
11月19日

评估流程对提议指令和当前指令分别测试,对失败案例重复运行以确认稳定性,只有安全与任务性能同时过关的版本才会被采纳。

待验证50%
11月19日

如果没有任何版本通过评估,当前指令继续生效(回退到旧版本的默认策略)。

待验证50%
11月19日

可执行基准覆盖 29 个案例,分布在邮件、日历、健康和交易市场四类场景,并单独设置探针检查授权复用、记忆和工具输出注入。

待验证50%
11月19日

在三个模型和两次刻意设计的风险编辑上,该流程拒绝了 21 次更新尝试中的 20 次。

待验证50%
11月19日

一次被采纳的 GPT-5.6 Luna 修复将攻击违规从 10.7% 降到 0%,安全任务完成率从 89.7% 升到 100%。

待验证50%
11月19日

一条宽泛的手写权限规则也能达到与 GPT-5.6 Luna 修复相同的效果(违规率归零、任务完成率 100%)。

待验证50%
11月19日

迁移修复有效但未清零,强攻击下仍需运行时层面的兜底,提示修复方案的可移植性存在上限。

待验证50%
11月19日

单独运行的探针检查了记忆条目删除,并在被评估快照中发现了缺失的本地 OAuth 权限范围检查。

待验证50%

全部知识事实 (9)

来源文章