PC-Dr.DPO
一种针对测试时强化学习的改进方法,在提示内部根据投票可靠性进行鲁棒重加权,降低低可靠性提示的更新权重,以缓解有限 rollout 变异的影响。
时间轴 (近 90 天)
作者提出了提示条件分布鲁棒 DPO(Prompt-Conditional Distributionally Robust DPO, PC-Dr.DPO),该方法根据观察到的投票可靠性,在提示内部进行鲁棒重加权,使得来自采样敏感提示的更新更加保守。
PC-Dr.DPO 在优化过程中为每个提示的投票结果分配不同的权重,投票可靠性低的提示权重降低,从而减少噪声伪标签对模型更新的影响。
PC-Dr.DPO 引入了一种基于缓存的机制,以减少在线适应过程中的自监督遗忘(self-supervised forgetting)。
论文在六个数学和知识密集型推理基准上进行了实验,使用了五种模型骨干网络。
在30个设置中,PC-Dr.DPO 在24个设置中达到或超过了最强的TTRL基线。
显式地处理有限 rollout 变异能够带来一致的性能提升,尤其是在采样敏感的任务上。
虽然种群多数偏差无法完全消除,但通过控制变异的下游影响,PC-Dr.DPO 显著提升了TTRL的可靠性。
全部知识事实 (7)
作者提出了提示条件分布鲁棒 DPO(Prompt-Conditional Distributionally Robust DPO, PC-Dr.DPO),该方法根据观察到的投票可靠性,在提示内部进行鲁棒重加权,使得来自采样敏感提示的更新更加保守。
50%待验证PC-Dr.DPO 在优化过程中为每个提示的投票结果分配不同的权重,投票可靠性低的提示权重降低,从而减少噪声伪标签对模型更新的影响。
50%待验证PC-Dr.DPO 引入了一种基于缓存的机制,以减少在线适应过程中的自监督遗忘(self-supervised forgetting)。
50%待验证论文在六个数学和知识密集型推理基准上进行了实验,使用了五种模型骨干网络。
50%待验证在30个设置中,PC-Dr.DPO 在24个设置中达到或超过了最强的TTRL基线。
50%待验证显式地处理有限 rollout 变异能够带来一致的性能提升,尤其是在采样敏感的任务上。
50%待验证虽然种群多数偏差无法完全消除,但通过控制变异的下游影响,PC-Dr.DPO 显著提升了TTRL的可靠性。
50%