[控场AI]
模型提示条件分布鲁棒 DPO / Prompt-Conditional Distributionally Robust DPO

PC-Dr.DPO

一种针对测试时强化学习的改进方法,在提示内部根据投票可靠性进行鲁棒重加权,降低低可靠性提示的更新权重,以缓解有限 rollout 变异的影响。

时间轴 (近 90 天)

11月9日

作者提出了提示条件分布鲁棒 DPO(Prompt-Conditional Distributionally Robust DPO, PC-Dr.DPO),该方法根据观察到的投票可靠性,在提示内部进行鲁棒重加权,使得来自采样敏感提示的更新更加保守。

待验证50%
11月9日

PC-Dr.DPO 在优化过程中为每个提示的投票结果分配不同的权重,投票可靠性低的提示权重降低,从而减少噪声伪标签对模型更新的影响。

待验证50%
11月9日

PC-Dr.DPO 引入了一种基于缓存的机制,以减少在线适应过程中的自监督遗忘(self-supervised forgetting)。

待验证50%
11月9日

论文在六个数学和知识密集型推理基准上进行了实验,使用了五种模型骨干网络。

待验证50%
11月9日

在30个设置中,PC-Dr.DPO 在24个设置中达到或超过了最强的TTRL基线。

待验证50%
11月9日

显式地处理有限 rollout 变异能够带来一致的性能提升,尤其是在采样敏感的任务上。

待验证50%
11月9日

虽然种群多数偏差无法完全消除,但通过控制变异的下游影响,PC-Dr.DPO 显著提升了TTRL的可靠性。

待验证50%

全部知识事实 (7)

来源文章