[控场AI]
基准

BashArena

一种传统控制评估设置,用于预测AI部署安全性,但在外推至真实部署时误差较大。

时间轴 (近 90 天)

10月23日

在LinuxArena实验中,传统控制设置BashArena预测部署安全性的均方根误差(RMSE)为10.1个百分点(在5%审计预算、五种监控器条件下)。

待验证50%
10月23日

模拟控制评估(SCEs)预测安全性的均方根误差为3.6个百分点(在5%审计预算、五种监控器条件下),而BashArena为10.1个百分点。

待验证50%
10月23日

SCEs与真实执行之间的KL散度比BashArena低十倍以上,表明模拟环境在行为分布上高度接近真实环境。

待验证50%
10月23日

通过模拟发现的攻击策略,在留出的LinuxArena攻击上也能提升监控器性能,效果优于BashArena,并且大致匹敌真实执行策略带来的改进。

待验证50%

全部知识事实 (4)

来源文章