忠诚度测试

超级智能的忠诚度测试关注AI系统在面临多种可能行动时是否始终将人类设定的目标和价值观置于优先位置。

忠诚度测试通常包括给AI设定相互冲突的目标以观察其权衡，或在AI即将采取高风险行动时检查其是否主动寻求人类确认。

忠诚度测试与常规安全评估不同：后者关注模型是否输出有害内容，前者更关注代理在长期自主运行中是否保持行为一致性。

忠诚度测试中的对抗性场景设计旨在主动诱发并检测目标漂移，例如通过设置相互冲突的指令或引入干扰性奖励信号。

目前逆向博弈论和忠诚度测试研究仍以理论框架和小规模实验为主，距离形成可落地的工程标准还有距离。