Router Replay是一种用于混合专家模型（MoE）强化学习训练的技术方案。其核心思想是在训练过程中重放或复用先前记录的专家路由决策，以解决MoE模型在强化学习采样与更新阶段因路由策略变化导致的不一致性问题。该技术有助于提升训练稳定性，保证专家分配的一致性，从而改善MoE模型在强化学习场景下的训练效果。