CleanRM：用少量干净反馈破解RLHF噪声奖励建模难题

在RLHF（基于人类反馈的强化学习）流程中，奖励模型的质量直接决定了大模型对齐的效果。然而现实中的偏好数据几乎不可能完全干净——标注者主观判断的模糊性、人工标注的疏漏、甚至用LLM充当裁判时引入的系统性偏差，都会让反馈信号带有噪声。

一篇题为《CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF》的研究工作指出，直接用含噪偏好数据训练奖励模型，得到的风险估计是有偏的。经典去噪方法虽然可以套用，但它们普遍假设噪声比例在样本间是均匀的，而偏好数据中的噪声恰恰是逐样本变化的。CleanRM 试图解决这个结构性难题。

为什么偏好噪声不能靠"统一去噪"解决

传统去噪学习通常假设：每个样本被错误标注的概率是相同的常数。在这个假设下，可以用损失修正、样本重加权等成熟手段来逼近干净分布。

但偏好数据的噪声模式完全不同。一条"A比B好"的判断可能因为标注者当天状态不同而翻转，也可能因为问题领域太专业而随机猜测，还可能因为LLM裁判对某类措辞存在偏好而系统性偏移。这意味着不同样本的噪声比例差异极大，用全局统一参数去建模只会引入新的偏差。

CleanRM 的核心判断是：与其估计一个全局噪声率，不如逐样本地校准噪声比例。而校准的锚点，就是少量人工确认过的干净反馈。

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习） 是大语言模型对齐的主流范式，其典型流程分为三步：首先让模型对同一提示生成多个候选回答，由人类标注者（或 LLM 裁判）对这些回答两两比较并给出偏好排序，形成偏好数据集；然后在这些偏好数据上训练一个奖励模型（Reward Model），使其学会给更受偏好的回答打高分；最后以奖励模型的打分为优化目标，用强化学习算法（如 PPO）微调策略模型。奖励模型在这里扮演"人类偏好的代理"角色，因此它的质量直接决定了策略模型最终会朝哪个方向漂移。如果训练奖励模型的偏好信号本身带噪，那么奖励模型学到的就是一个扭曲的偏好函数，策略模型会顺着这个扭曲的信号过度优化，即所谓"奖励劫持"（reward hacking），最终表现为回答看似得分很高、却并不符合真实人类偏好。这也正是 CleanRM 强调奖励建模去噪意义的根本原因。

CleanRM 的方法：用最优传输做逐样本校准

CleanRM 的技术路线可以拆成三个环节。

第一，分布对齐。 它把从含噪反馈中"还原"出的偏好联合分布，与少量干净反馈构成的分布进行对齐。这里用到的工具是最优传输（Optimal Transport），通过最小化两个分布之间的传输代价，找到噪声样本与干净样本之间的对应关系。

第二，逐样本噪声比例估计。 在分布对齐的过程中，每个含噪样本被赋予一个样本级的噪声比例，而不是共享同一个参数。这让模型能够识别出"这条标注可信度高"与"这条标注几乎等于随机"之间的区别。

第三，噪声校正替代损失。 拿到逐样本噪声比例后，CleanRM 构造了一个校正后的替代损失函数来训练奖励模型。关键在于，作者从理论上证明了该目标函数相对于干净风险是无偏的——这是它区别于启发式去噪方法的核心保障。

值得一提的是，整个流程只需要"少量"干净反馈。这意味着在实际部署中，标注团队只需要抽检一小部分数据做精标，就能撬动对整个偏好数据集的去噪效果。

最优传输（Optimal Transport, OT） 来自 Monge 与 Kantorovich 提出的运输问题：给定两个概率分布，如何在满足质量守恒约束的前提下，以最小的总运输代价把一个分布搬到另一个分布。其连续形式的最优值即 Wasserstein 距离，离散形式则归结为一个线性规划问题，可通过 Sinkhorn 算法加入熵正则后高效近似求解。在机器学习中，OT 常被用作分布之间的对齐与匹配工具，因为它不仅给出一个数值距离，还能返回一个"传输计划"矩阵，显式刻画源分布中每个样本被搬运到目标分布中哪些样本的对应关系。CleanRM 正是利用了这一特性：把含噪偏好分布作为源分布、少量干净反馈分布作为目标分布，通过求解 OT 得到样本间的对应权重，再据此为每条含噪样本推断出各自的噪声比例。相比只输出单一距离的度量方式，OT 的传输计划提供了逐样本级别的结构信息，这是它能实现逐样本校准、而非全局统一去噪的关键技术前提。

实验表现与下游对齐收益

论文报告了广泛的实验对比。CleanRM 在去噪指标上超过了当前最先进的基线方法，同时在更关键的下游 RLHF 对齐任务中，也展现出更有效的对齐结果。

这个结果的意义在于：奖励模型的去噪不只是"让损失数字好看"，它确实传导到了最终策略模型的行为上。噪声更少的奖励信号，让策略优化朝着更符合真实人类偏好的方向走。

对于正在搭建 RLHF 流水线的团队来说，这项工作的实用价值在于它降低了干净数据的需求门槛。全量精标偏好数据成本极高，而 CleanRM 的思路是：用少量干净反馈做"标尺"，通过最优传输把噪声结构刻画出来，再反过来校正全体数据。

无偏风险估计 是统计学与去噪学习中的核心概念。设干净数据上的真实风险为 R_clean，若用含噪数据构造的替代损失 L_noisy 在期望意义上等于 R_clean，即 E[L_noisy] = R_clean，则称该替代损失相对干净风险是无偏的。无偏性之所以重要，是因为它保证了在数据量足够大时，最小化含噪目标等价于最小化真实目标，模型不会系统性地收敛到错误的方向。许多启发式去噪方法（如硬阈值过滤、固定折扣重加权）只具备经验上的有效性，缺乏无偏保证，在噪声结构复杂时可能引入新的系统性偏差。CleanRM 从理论上证明其噪声校正替代损失相对于干净风险无偏，意味着它给出的不是"看起来更好"的启发式修补，而是有统计保证的一致估计。这也是它能在去噪指标和下游 RLHF 对齐效果上同时超越现有基线的理论支撑。

对RLHF工程实践的启示

CleanRM 揭示了一个容易被忽视的事实：偏好数据中的噪声不是均匀的，因此处理方式也不能是一刀切的。

从工程角度看，这提示团队在设计标注流程时，除了关注标注总量，更应该关注"干净锚点"的获取——哪怕比例很小，只要覆盖足够的偏好模式，就能支撑起逐样本的噪声建模。同时，把去噪目标与下游对齐效果直接挂钩来评估，比单纯看奖励模型的分类准确率更有意义。

当然，最优传输的计算开销、干净反馈的采样策略、以及噪声比例估计在极端稀疏干净数据下的稳定性，仍是落地时需要权衡的问题。但整体方向为噪声鲁棒的奖励建模提供了一个有理论保证的新思路。