[控场AI]
· 4 分钟阅读· 2,140 字

多数投票伪标签不可靠?PC-Dr.DPO让TTRL更稳健

多数投票伪标签不可靠?PC-Dr.DPO让TTRL更稳健

论文分解TTRL多数投票误差,提出PC-Dr.DPO按提示可靠性重加权以提升伪标签可靠性。

该文系统分析了测试时强化学习(TTRL)中多数投票伪标签的可靠性问题,将监督误差分解为难以消除的种群多数偏差和可缓解的提示依赖有限rollout变异。针对后者,作者提出提示条件分布鲁棒DPO(PC-Dr.DPO),根据投票可靠性在提示内部进行鲁棒重加权,使采样敏感提示的更新更保守,并引入缓存机制减少在线适应中的自监督遗忘。在六个数学与知识推理基准、五种模型骨干的30个设置中,PC-Dr.DPO在24个设置中达到或超越最强TTRL基线,表明显式处理有限rollout变异能显著提升TTRL的可靠性。

测试时强化学习(Test-Time Reinforcement Learning, TTRL)让预训练语言模型能够利用自生成的伪标签适应无标注的目标领域数据。然而,这些伪标签的可靠性一直缺乏深入理解。近期一篇论文对TTRL中常用的多数投票监督机制进行了系统分析,并提出了改进方法。

多数投票伪标签可靠性分析

多数投票监督的误差分解

论文将在线直接偏好优化(DPO)下的多数投票监督误差分解为两个部分:种群多数偏差(population-majority bias)和提示依赖的有限 rollout 变异(prompt-dependent finite-rollout variation)。

种群多数偏差源于模型对群体-level多数答案的偏好,这种偏差在没有外部监督的情况下通常无法识别和消除。因此,作者将研究重点放在缓解有限 rollout 变异带来的下游影响上。有限 rollout 变异指的是由于每个提示只采样有限数量的回复,导致投票结果不稳定,进而影响伪标签的质量。

这一分解揭示了TTRL中伪标签不可靠的核心原因:即使多数投票在理论上能降低噪声,实际中有限的采样次数和提示间的差异仍会引入显著变异。

直接偏好优化(DPO) 是一种无需显式奖励模型的强化学习微调方法,它通过最大化偏好对(chosen/rejected)的似然比来直接优化策略,替代了传统 RLHF 中的 PPO 流程。在 TTRL 场景中,模型对同一提示多次采样生成回复,再用多数投票决定“伪偏好对”,从而在没有人工标注的情况下构造 DPO 训练信号。

种群多数偏差借鉴了统计估计中的“种群-level”概念:若模型对某类问题存在系统性偏好(例如总是倾向于输出某种格式或常见答案),那么即使采样次数趋于无穷,多数投票也会收敛到该偏好而非真实正确答案。这种偏差与提示无关,属于模型先验或训练数据分布带来的结构性误差。

有限 rollout 变异则对应统计中的抽样方差:每个提示只采样有限个回复(如 8 或 16 个),投票结果会随采样随机波动。对于模型本身不确定性高的提示,这种波动尤其剧烈,导致伪标签在相邻训练步之间跳变,给优化带来噪声。

PC-Dr.DPO:提示条件分布鲁棒优化

针对有限 rollout 变异,作者提出了提示条件分布鲁棒 DPO(Prompt-Conditional Distributionally Robust DPO, PC-Dr.DPO)。该方法根据观察到的投票可靠性,在提示内部进行鲁棒重加权,使得来自采样敏感提示的更新更加保守。

具体来说,PC-Dr.DPO 在优化过程中为每个提示的投票结果分配不同的权重,投票可靠性低的提示权重降低,从而减少噪声伪标签对模型更新的影响。这种条件化的鲁棒性设计让模型在适应目标领域时更加稳定。

此外,作者还引入了一种基于缓存的机制,以减少在线适应过程中的自监督遗忘(self-supervised forgetting)。该机制通过缓存历史信息来保留先前学到的知识,防止模型在适应新数据时丢失原有能力。

分布鲁棒优化(DRO) 是一类在最坏情况分布下最小化风险的优化框架,常用于应对训练与测试分布不一致的问题。标准 DRO 在不确定性集合内寻找最差分布并优化其损失,从而获得对分布偏移的鲁棒性。PC-Dr.DPO 将这一思想条件化到每个提示:根据该提示投票可靠性的估计,构造一个围绕经验投票分布的局部不确定性集合,并对集合内最差情况下的 DPO 损失进行优化。可靠性越低,不确定性集合越大,等效于对该提示的更新施加更强的正则或降权。

自监督遗忘指模型在仅用自生成标签进行在线适应时,会逐渐丢失预训练阶段获得的通用能力。由于没有真实标签锚定,模型可能过度拟合当前批次伪标签的噪声,导致在原始分布上的性能退化。缓存机制通过保存历史回复或历史策略输出,在更新时加入一致性约束,从而缓解这种灾难性遗忘。

实验验证与结果

论文在六个数学和知识密集型推理基准上进行了实验,使用了五种模型骨干网络。结果显示,在30个设置中,PC-Dr.DPO 在24个设置中达到或超过了最强的TTRL基线。

这一结果表明显式地处理有限 rollout 变异能够带来一致的性能提升,尤其是在采样敏感的任务上。虽然种群多数偏差无法完全消除,但通过控制变异的下游影响,PC-Dr.DPO 显著提升了TTRL的可靠性。

启示与展望

该研究揭示了TTRL中伪标签可靠性的关键问题,并提供了一种实用的解决方案。对于从事测试时适应和强化学习的研究者而言,PC-Dr.DPO 的鲁棒重加权思路可以扩展到其他自监督场景。未来工作可能需要探索如何结合外部监督信号来进一步减少种群多数偏差,以及如何将缓存机制与更复杂的在线学习算法结合。

总的来说,这项研究提醒我们:多数投票并非万能,在有限采样下仍需谨慎设计优化目标。PC-Dr.DPO 为更可靠的测试时强化学习提供了新方向。

#测试时强化学习#TTRL#多数投票伪标签#PC-Dr.DPO#直接偏好优化#伪标签可靠性#分布鲁棒优化
分享:

相关推荐