PORT：Token级重加权提升偏好优化鲁棒性

偏好优化是让大语言模型对齐人类价值观的核心技术，但其效果高度依赖偏好标注的质量。现实中，标注错误和语义模糊让偏好数据充满噪声。现有鲁棒偏好优化方法多在序列级别操作，隐含地将整个回复视为统一正确或错误——但被拒绝的回复里可能包含有价值的推理步骤，而被偏好的回复也可能暗藏细微错误。针对这一矛盾，研究者提出PORT（Preference Optimization via Robust Token-level Reweighting），一个在噪声偏好下实现细粒度鲁棒对齐的框架。

序列级方法的局限与Token级洞察

传统鲁棒偏好优化将每个回复当作不可分割的整体，损失函数在序列层面计算。这种做法忽略了一个关键事实：回复的正确性并非均匀分布。一个被标注为“拒绝”的回复，可能大部分内容合理，只在关键步骤出错；一个被标注为“偏好”的回复，也可能在细节上出现事实性错误。序列级方法无法区分这些情况，导致模型在训练中要么过度惩罚有用内容，要么无意中强化错误。

PORT的核心洞察在于：噪声偏好标签带来的梯度偏差，可以分解到每个Token上。与其在序列级别粗放地修正，不如在Token级别识别并抑制那些“可疑”的Token，让优化过程更精准地聚焦于真正可信的信号。

偏好优化（Preference Optimization） 是一类直接利用人类偏好比较数据训练语言模型的方法，其代表是RLHF中的奖励建模和DPO（Direct Preference Optimization）。在标准的偏好数据中，每个样本由提示、一个被偏好的回复和一个被拒绝的回复组成，模型通过学习增大偏好回复的相对概率来对齐人类意图。然而，这种学习信号建立在标签正确的假设上：一旦偏好标签本身有误，模型就会被引导去降低正确回复的概率或提升错误回复的概率，产生所谓的梯度偏差。序列级鲁棒方法通常通过样本重加权或损失截断来缓解这一问题，但它们只能在“整个回复”粒度上判断可信度，无法处理回复内部部分正确、部分错误的情况。PORT的Token级视角正是对这一粒度缺陷的直接回应。

PORT如何工作：基于CDF的Token重加权

PORT使用Token对数概率的经验累积分布函数（CDF）来执行Token级重加权。具体来说，对于每个Token，计算其对数概率在整体分布中的位置，并据此分配权重。这一设计的巧妙之处在于，它构成了对梯度范数惩罚的一种高效前向传播代理——不需要额外的反向传播计算，就能选择性抑制被噪声污染的Token。

从理论上看，PORT通过最小化偏差项的上界，降低了噪声偏好标签带来的梯度偏差。这种前向传播-only的代理设计，让PORT在保持计算效率的同时，获得了比序列级方法更细粒度的鲁棒性。

经验累积分布函数（Empirical CDF） 是描述一组观测值分布位置的统计工具：给定样本集合，某个值的经验CDF等于集合中小于等于该值的样本比例。PORT将每个Token的对数概率视为一个观测值，计算它在全部Token对数概率分布中的分位位置。直观上，对数概率异常低（即模型非常不自信）的Token往往对应噪声或错误内容，其CDF值会落在分布的低端，从而被赋予较小的权重；而位于分布中段的Token则获得相对正常的权重。这种基于排序而非绝对阈值的加权方式，对不同模型、不同数据分布具有较好的适应性，也避免了手工设定概率阈值的脆弱性。

梯度范数惩罚 是一种常见的鲁棒训练手段：当某个样本或Token产生过大的梯度时，说明模型正在被该信号强烈推动，若该信号来自噪声标签，就会造成有害更新。经典做法是计算梯度范数并对其施加惩罚，但这需要额外的反向传播，成本较高。PORT的核心技巧在于用Token对数概率的CDF值作为梯度范数的前向代理：对数概率越低的Token通常对应越大的梯度贡献，因此依据CDF压低这些Token的权重，等价于在不做额外反向计算的情况下近似实现了梯度范数惩罚。这种“前向传播-only”的设计是PORT在工程上可落地的重要原因。

实验验证：多样噪声设置下的稳定提升

研究者在多种噪声设置下进行了广泛实验，结果表明PORT一致地提升了鲁棒性，并优于现有的序列级基线方法。这意味着，无论是在标注错误率较高还是语义模糊程度较大的场景中，Token级重加权策略都能更有效地抵御噪声干扰。

代码已在GitHub上开源（osu-srml/PORT），为后续研究提供了可复现的基础。

噪声偏好设置 通常分为两类：标签翻转噪声（将偏好与被拒绝回复的标签互换）和语义模糊噪声（两个回复质量接近、标注本身存在合理分歧）。前者模拟标注者的随机错误，后者模拟真实场景中难以判定优劣的情况。鲁棒偏好优化研究一般在这两类噪声的不同比例下评估方法，观察模型在干净测试集上的偏好准确率是否随训练噪声增加而显著下降。PORT在多种噪声类型和噪声率下均报告了稳定提升，说明Token级重加权并非只针对某一种噪声模式有效，而是对梯度偏差的通用缓解。

对偏好优化实践的启示

PORT的价值不仅在于提出了一种新方法，更在于它揭示了偏好优化中一个被长期忽视的维度：Token级的不均匀性。当我们在噪声数据上训练对齐模型时，粗粒度的序列级处理可能会掩盖大量有用信息。PORT的Token级重加权思路，为构建更鲁棒、更精细的对齐流程提供了新方向。

对于实际应用而言，PORT的前向传播-only特性意味着它不会显著增加训练成本，这使其在工业级偏好优化任务中具有较好的落地潜力。随着偏好数据规模的扩大和噪声问题的常态化，这种细粒度鲁棒方法的价值会更加凸显。