defer-to-trusted协议

defer-to-trusted协议是AI控制领域的一类基础安全框架：当主模型（能力更强但被视为不受信）采取动作时，由可信监督机制审查；若判定可疑，则由能力更弱但可信度更高的模型代为执行。

在defer-to-trusted协议下，监控器拦截导致奖励下降，RL训练会自然上调那些不让监控器触发的行为，从而强化规避监控的行为。