选择性平局学习：偏好优化中伪相关的新解法

偏好优化（如RLHF中的奖励建模）容易学到伪相关，即模型依赖与任务无关的特征进行预测。一种缓解方法是向偏好数据中注入“平局”（即被同等偏好的回复对），但不同平局对减少伪相关的作用差异很大。最近一项研究提出“选择性平局学习”，通过理论分析筛选出最有效的平局，从而以更少的平局达到与均匀选择相当甚至更好的去偏效果。

伪相关从何而来

偏好优化模型通常从成对比较中学习人类偏好。如果训练数据中存在虚假关联（例如回复长度与偏好标签相关），模型就可能依赖这些特征而非真实质量。这种伪相关在分布外数据上会导致性能下降。

注入平局数据（即两个回复被标注为同等偏好）被认为可以削弱伪相关，因为平局不提供区分性信号，迫使模型忽略无关特征。但平局并非等价：某些平局能更有效地纠正模型的错误依赖，而另一些可能收效甚微。

伪相关（spurious correlation） 在偏好优化中特指模型学到的输入特征与偏好标签之间的非因果关联。例如，若训练数据中较长的回复恰好更常被选中，模型可能将“长度”误认为“质量”的信号。这种关联在训练分布内可能提升拟合效果，但在分布外（OOD）数据上，当长度与质量脱钩时，模型性能会显著下降。伪相关的根源在于偏好数据的观测性偏差：人类标注者的选择受到多种因素影响，而这些因素未必与任务目标一致。因此，去偏的目标是让模型依赖与任务真正相关的特征，而非这些偶然相关的表面特征。

理论分析：平局的影响可量化

针对对数线性策略，研究者推导了每个平局对伪相关依赖的影响。他们发现，在相同大小的子集中，选择预测减少量最大的平局是“一阶最优”的。然而，计算这种影响需要知道伪特征和训练目标的曲率，这在实际中往往不可得或计算成本高昂。

因此，研究者探索了使用平局的隐式奖励边界幅度作为影响预测的代理指标，并刻画了其作为有用代理的条件。理论表明，在某些条件下，奖励边界幅度与影响大小正相关，这为实际选择提供了便捷信号。

隐式奖励边界幅度（implicit reward margin） 是指在偏好优化模型（如Bradley-Terry模型）中，对于一对回复，模型隐含分配的奖励分数之差。具体地，若模型对回复A的隐式奖励为r(A)，对回复B为r(B)，则边界幅度为|r(A)-r(B)|。在平局数据中，两个回复被标注为同等偏好，理想情况下模型应赋予它们相近的奖励，即边界幅度应趋近于零。然而，在训练前，模型可能对这对平局给出较大的边界幅度，这反映了模型对该对回复的区分程度。理论分析表明，边界幅度较大的平局往往对应模型当前更“自信”的错误区分，因此纠正它可能对减少伪相关依赖更有效。这一代理指标无需知道真实的伪特征，仅从模型输出即可计算，为实际选择提供了便利。

从理论到实践：神经模型上的验证

为了验证理论在神经网络模型上的可迁移性，研究者采用了一种反事实代理来估计伪相关依赖的影响，并使用广义高斯-牛顿近似来估计语言模型的曲率。这样，他们能够近似计算每个平局的影响，并据此进行选择。

实验涵盖了对数线性策略、神经网络模型和大型语言模型。结果表明，与均匀选择平局相比，所提出的选择规则在减少伪相关依赖方面 consistently 取得相当的效果，但所需的平局数量更少。这意味着在标注成本高昂的场景下，选择性平局学习可以显著降低数据需求。

广义高斯-牛顿近似（Generalized Gauss-Newton, GGN） 是一种用于近似神经网络损失函数曲率（Hessian矩阵）的方法。在偏好优化中，曲率反映了模型参数对训练目标的敏感程度，是计算每个平局影响的关键组成部分。精确计算Hessian矩阵对于大型语言模型而言计算成本极高（参数数量可达数十亿），因此研究者采用GGN近似，利用雅可比矩阵的外积来逼近Hessian，从而在可接受的计算开销下估计曲率。GGN在保证一定精度的同时，显著降低了计算复杂度，使得在LLM上进行影响估计成为可能。

多源交叉验证与共识

该研究综合了理论推导与实证实验，结论在多种模型架构上一致，增强了可信度。虽然不同模型上的效应大小可能有所差异，但“选择性优于均匀”这一核心结论得到了多源支持。

对偏好优化实践的启示

这项工作的意义在于提供了一种数据高效的去偏策略。在实际的RLHF流程中，平局数据的收集成本低于成对偏好数据，但如何挑选平局一直缺乏理论指导。选择性平局学习给出了可操作的准则：优先选择隐式奖励边界幅度大的平局。

当然，该方法依赖于对曲率的近似，在极大规模模型上可能引入额外计算开销。未来工作可以探索更高效的近似方法，或将选择策略扩展到其他偏好优化算法（如DPO）。

总之，选择性平局学习为缓解偏好优化中的伪相关提供了新的理论视角和实用工具，有望推动更鲁棒、更数据高效的偏好学习系统的发展。

直接偏好优化（Direct Preference Optimization, DPO） 是一种无需显式奖励模型的偏好优化算法，它通过重新参数化将奖励建模与策略优化合并为一个简单的分类损失。DPO直接利用偏好对数据更新语言模型，避免了RLHF中复杂的强化学习流程，因此在实际应用中广受欢迎。然而，DPO同样容易学到伪相关，且其损失函数对平局数据的处理方式与基于奖励模型的方法有所不同。选择性平局学习的核心思想——优先选择隐式奖励边界幅度大的平局——原则上可以迁移到DPO，但需要针对其损失曲面重新推导影响估计。未来工作可探索在DPO框架下设计高效的选择准则，进一步拓展该方法的适用范围。