模型课程学习：破解安全对齐的新思路

自动化越狱发现旨在找出能让经过安全训练的语言模型产生违规行为的提示词，帮助开发者在部署前识别漏洞。然而，训练一个“调查者”模型去攻击安全对齐的目标模型并不容易——因为几乎所有提示都会被拒绝，奖励信号极其稀疏。

近期一项研究提出模型课程学习（Curriculum of Models, CoM），通过逐步从“容易攻破”的模型版本过渡到原始目标模型，来缓解稀疏奖励问题。该方法在 CBRN 材料、爆炸物和非法药物等敏感话题的诱导任务上进行了评估，并与先前的倾向边界（PRBO）方法及直接训练基线进行了对比。

为什么越狱发现需要课程学习？

直接训练调查者模型对抗安全对齐的目标模型时，绝大多数尝试都会得到拒绝回复，导致奖励信号非常稀疏。调查者很难从“全是拒绝”的反馈中学习到有效策略。

先前工作采用倾向边界（PRBO）作为代理奖励：从一个更顺从的模型中采样回复，再根据这些回复在原始目标模型下的可能性进行调整。而 CoM 的思路更直接——既然目标模型太难，就先从容易的开始。

倾向边界（PRBO） 是一种基于代理奖励（proxy reward）的越狱发现方法，其核心思想是：不直接让调查者模型攻击最终的目标模型，而是先从一个更“顺从”、安全对齐较弱的模型中采样回复，再评估这些回复在原始目标模型下的对数似然（log-likelihood）。如果一个回复在顺从模型下产生、同时在目标模型下也有较高概率，说明它更可能绕过目标模型的安全防线。PRBO 用这种似然调整后的分数作为奖励信号，从而缓解“全拒绝”导致的奖励稀疏问题。它本质上是一种奖励塑形（reward shaping）技术，通过构造稠密的代理信号来引导调查者学习。不过，PRBO 依赖一个额外的顺从模型，且代理奖励与真实攻击成功率之间可能存在偏差，因此其效果并非总是最优。

CoM 如何工作？

CoM 的核心是构建一个目标模型的“课程表”：从很少拒绝有害请求的修改版本开始，逐步过渡到越来越严格、最终到原始目标模型。调查者在当前版本上可靠地诱导出目标行为后，才进入下一个更难的版本。

这种渐进式训练让调查者始终能获得有意义的奖励信号，避免了在原始目标上“全拒”导致的停滞。研究者在两个开放权重模型 gemma-4-31b-it 和 gpt-oss-120b 上验证了该方法。

开放权重模型（open-weight model） 指模型参数可公开获取、允许研究者在本地部署和微调的模型，与仅提供 API 访问的闭源模型相对。本文实验使用的 gemma-4-31b-it 和 gpt-oss-120b 均属于此类。使用开放权重模型进行越狱发现研究有几个关键优势：第一，研究者可以完全控制推理过程，包括调整温度、采样策略和系统提示，从而更灵活地探索攻击面；第二，可以复现和审计实验，避免闭源 API 行为变化带来的不确定性；第三，能够在本地运行敏感话题（如 CBRN 材料、爆炸物、非法药物）的诱导实验，降低数据外泄风险。不过，开放权重模型的安全对齐强度通常与前沿闭源模型存在差距，因此在该类模型上验证的方法能否迁移到更强对齐的模型，仍需进一步评估。

实验结果：单行为更可靠，多行为有局限

在单行为诱导任务中，CoM 比 PRBO 和直接训练基线更可靠地找到成功越狱。这意味着当目标是让模型产生某一种特定违规行为时，课程学习策略表现出优势。

但在多行为同时训练的场景下，情况有所不同：CoM 训练的调查者能够诱导出未在训练中见过的行为，展现出一定的泛化能力；然而 PRBO 训练的调查者在成功率上更高。研究者认为，这表明简单的目标模型课程是解决稀有行为诱导中稀疏奖励问题的一个有前景的方向，但并非在所有场景下都占优。

对安全研究的启示

CoM 提供了一种轻量级的思路：不需要复杂的奖励塑形，仅通过调整训练目标的难度顺序就能改善学习效率。这对于红队测试和模型安全评估具有实际意义——更可靠的越狱发现意味着能在部署前暴露更多潜在漏洞。

不过，多行为场景下 PRBO 的成功率更高也说明，课程学习并非万能。未来可能需要结合代理奖励与课程策略，或设计更精细的难度调度方案。