arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程：先训练多个领域专用奖励模型教师，再通过路由式在线策略蒸馏整合进一个生成式学生模型，该统一学生模型据称超越了它所有被蒸馏的专家教师。