AI对齐新主张：训完上一代之前，别急着训下一代

在AI安全圈关于"是否该暂停前沿模型研发"的持续争论中，一种折中思路正浮出水面：不必彻底叫停，但要为前沿模型的推进设定一个"最低限度的节奏"（minimum required pacing）。来自Alignment Forum的这篇提案给出了一个清晰且颇具挑战性的标准——一个实验室在没有充分解决当前这一代模型全部重大对齐问题之前，不得训练下一代（能力更强的）模型。

核心主张：先修好，再往前

这一提案的立论基础是一个直白的类比：在你搞清楚为什么你的2马赫战机屡屡坠毁之前，你不会急着去造3马赫的战机。作者尖锐地指出，对任何其他危险技术，社会都不会接受"耸耸肩然后继续前进"的态度，为什么对AI就该例外？

值得关注的是，作者在脚注中特意强调了一个常被忽视的标准："在我们的指标上得分超过了前代模型"并不等于充分解决了对齐问题。如果一个用户在部署后指出了某个此前未被注意到的、怪异却令人警觉的现象，那不仅是模型本身的失败，更是整个研发流程的严重失败。换句话说，缺乏某个坏属性的证据，不等于拥有好属性的证据。

这一提案的巧妙之处在于，它可能同时吸引对"常规对齐"（prosaic alignment）持乐观和悲观态度的两派人士。两派的根本分歧在于：用现有技术修复当前的对齐问题到底有多难。

• 乐观派可能认为，一次温和的、协调一致的减速就足以在每一代充分解决对齐问题，研发得以持续但稳健地推进。
• 悲观派则可能预期这会演变成一次长期的实质性暂停——而这恰恰为探索对齐AI的全新根本性方法争取了宝贵时间。

无论你站在哪一边，这个标准都能导向你认可的结果，这正是它作为"协调节奏"方案的政治智慧所在。

"常规对齐"（prosaic alignment）是AI安全领域的一个重要概念分支，指的是用现有机器学习技术——如RLHF（基于人类反馈的强化学习）、监督微调、宪法AI等——来解决当前模型的对齐问题，而无需等待全新的对齐理论突破。与之相对的是"根本性对齐"研究，后者试图从数学或理论层面解决更深层的价值对齐问题。乐观派认为常规对齐技术已经足够应对现有模型的挑战，只要研发节奏合理，每一代模型都可以被"修好"后再推进；悲观派则认为当前的工程修补手段治标不治本，真正危险的能力涌现（capability emergence）一旦出现，已有工具很可能失效，必须争取时间开发更根本的解决方案。这一分歧直接决定了"最低限度节奏"提案在实践中会演变成温和减速还是实质性长期暂停。

怎样才算"充分"解决对齐问题

作者坦承这只是一个模糊的、定性的提案，但勾勒出了一套相当严格的流程框架。

全程红队审查

多个相互独立的对齐组织，在训练过程的多个检查点对最新模型进行审查和红队测试，并拥有对数据的完全访问权限和当下最佳的工具。审查标准不局限于量化指标——无论是指标异常，还是某种定性的"感觉不对劲"，无论是模型存在某个坏属性，还是无法稳健地证明它具备某个好属性，都必须被严肃对待。

训练早期出现的对齐问题未必是致命的，但必须有一个稳健的"安全论证"（safety case）来解释为什么后续训练阶段能够解决这些问题——不能靠乐观的假设蒙混过关。

"红队测试"（red teaming）在AI安全语境中，是指由专门团队主动尝试发现模型的有害行为、越狱漏洞或对齐失效案例，模拟真实世界中的恶意或意外使用场景。与传统软件安全的渗透测试类似，但AI红队面临额外挑战：语言模型的行为空间近乎无限，无法穷举测试；模型可能在特定触发条件下才展现危险行为；评估者自身的判断也可能存在盲区。提案强调红队组织必须"相互独立"，正是为了防止单一机构的视角盲点或利益关联导致漏检。"安全论证"（safety case）这一概念来自高风险工程领域（如航空、核能），要求以结构化的文档形式，明确论证一个系统在特定条件下为何是安全的，以及该论证所依赖的假设和证据链——这比单纯的测试通过报告具有更强的可审计性。

受限部署与重置机制

只有当对齐组织对模型感到满意时，新一代模型才进入受限部署阶段。受限部署从一小群可信用户开始，他们执行的任务不会反过来贡献于模型训练，对齐组织则在此期间持续监控是否出现新问题。

一旦受限部署期间冒出任何重大对齐问题，流程要求执行一套严厉的"重置"动作：

• 立即撤下模型；
• 对问题进行根本原因分析，并追查为何训练阶段没能发现它；
• 找到一个有原则的方式去"治病"而非"止症"（fix the disease rather than the symptom）；
• 据此训练当前这一代的下一个模型，然后从头再来一遍。

通过时间考验才放行

新一代模型只有在"熬过"一段足够长的受限部署、期间未出现任何问题之后，才可以进入更广泛的部署（内部或外部）。如果广泛部署中再度出现重大对齐问题，同样触发上述重置流程。

唯有在一段相当长的部署时间里都没有对齐问题浮现，实验室才被允许开始训练下一代模型。作者谦逊地补充：即便如此，他也不认为这就"完全充分"了，但他会把这当作一条最低底线。

这是一个未完成的提案

作者毫不讳言这更像是一个启发式的草案而非可直接落地的方案，并主动列出了几个明显的缺口，呼吁更多人参与完善：

• 如何定义"一代模型"？是在单个实验室内部，还是跨多个实验室之间？
• 如果一项修复对齐问题的干预措施，同时也显著提升了能力，该怎么办？
• 在无法仅靠预定义指标来掌舵的情况下，如何定义并执行一份协议？
• 一个对齐问题要严重到什么程度，才应该叫停模型？这里会面临来自实验室的巨大压力——他们天然倾向于把这个阈值设得很高。

最后一点尤其一针见血。任何依赖实验室自我约束的机制，都绕不开激励错位的难题：当商业竞争与安全标准冲突时，谁来守住那条红线？

"能力与对齐纠缠"问题是该提案面临的最棘手挑战之一。当前的主流对齐技术（如RLHF）往往与模型能力的提升深度绑定——更强的指令遵循能力既是对齐的体现，也是能力的提升；某些减少幻觉的改进同时增强了模型的推理能力。这意味着"只修对齐、不提升能力"在技术上可能本就是一个无法严格实现的条件。此外，"一代模型"的定义在当前快速迭代的产业实践中也极为模糊——从GPT-4到GPT-4o再到各种微调版本，能力跃升可能发生在任意一次更新中，而非只在整数代际之间。如何在连续的能力演进曲线上划定"代际边界"，直接影响该提案的可操作性，目前学界和业界都尚无共识。

一点观察

这篇提案的价值不在于它给出了完整答案——它明确承认自己做不到——而在于它提供了一个可供各方讨论的"最低共识框架"。相比"全面暂停"的激进主张和"自由竞速"的现状，"先对齐好当前这一代"是一个在直觉上更难反驳、也更容易被不同立场者接受的中间地带。

当然，从一个定性启发式到可执行、可审计、可国际协调的具体协议，中间隔着的鸿沟仍然巨大。但在前沿模型能力加速演进的当下，先把"修好再往前"确立为行业基本礼仪，或许比争论能否彻底刹车来得更现实。