MoE路由信号：过程监督的新范式

过程奖励模型（PRM）为多步推理提供细粒度监督，但获取可靠的过程标签一直是核心瓶颈。现有方法依赖人工标注、基于rollout的估计或辅助验证，成本高且难以规模化。一项新研究探索了混合专家（MoE）模型原生暴露的另一种过程监督来源：专家路由。研究表明，简单的路由统计量能提供内在的过程置信度信号，其效果可与传统的输出logit置信度相竞争。

路由置信度：从计算调度到监督信号

研究团队发现，MoE模型在处理每个推理步骤时，专家路由的分布模式隐含了模型对该步骤的置信程度。他们构建了路由置信度指标，综合了三个维度：整体路由质量、头部路由质量以及步骤内路由变化。这三个维度共同刻画了模型在推理过程中的“犹豫”程度——当路由分布分散、变化剧烈时，往往意味着模型对该步骤缺乏把握。

这一发现的意义在于，它将MoE架构中原本被视为纯计算调度机制的路由决策，重新定义为一种架构原生的过程监督来源。与需要额外训练验证器或依赖人工标注的方法相比，路由信号完全来自模型推理时的自然副产物，无需额外成本。

混合专家（MoE）架构：MoE 是一种稀疏激活的神经网络设计，由多个“专家”子网络和一个路由网络（router/gating network）组成。对每个输入 token，路由器计算各专家的权重分布，通常只激活 top-k 个专家参与计算。这种设计使模型参数量大幅增加而计算量保持可控。关键在于，路由分布本身是模型对输入的一个决策结果：分布越集中，说明模型越明确该交给哪些专家处理；分布越分散，则说明模型在多个专家之间“犹豫”。因此路由统计量天然携带了模型内部状态的信息，这为将其用作置信度信号提供了架构基础。

过程奖励模型（PRM）与过程监督：传统奖励模型（ORM）只对最终答案给一个分数，而过程奖励模型对推理链中的每一个中间步骤分别打分，从而提供更细粒度的监督。PRM 可用于推理时的步骤筛选、搜索引导，也可用于训练阶段的重排序或强化学习奖励。其核心瓶颈在于过程标签的获取：人工标注每一步是否正确成本极高且难以规模化；基于 rollout 的估计需要大量采样计算；辅助验证器则引入额外模型。本文提出的路由信号之所以有价值，正是因为它绕开了这些成本，直接从 MoE 推理时的自然副产物中获取步骤级置信度。

RoCo-Rethink：选择性重生成低置信步骤

基于路由置信度，研究者提出了RoCo-Rethink方法。该方法首先识别推理轨迹中置信度最低的步骤，然后选择性地重新生成后续轨迹，而非从头重来。这种“局部重试”策略在保持整体推理连贯性的同时，针对性地修正薄弱环节。

在多个MoE架构和多样化推理任务上的实验表明，RoCo-Rethink持续优于强基线方法。其优势在于将计算资源集中在真正需要修正的步骤上，避免了全局重生成带来的浪费。

RoCo-PRM：用强MoE自动标注并蒸馏

另一项贡献是RoCo-PRM。该方法利用强MoE模型自动为推理轨迹标注基于路由的步骤分数，再将这些分数蒸馏到一个独立的PRM中。这样，PRM的训练不再依赖人工过程标签，而是从MoE的路由行为中自动获取监督信号。

实验显示，RoCo-PRM不仅在多个任务上超越基线，还能有效跨模型架构和任务进行迁移。这意味着路由衍生的过程监督具有较好的泛化能力，不局限于特定模型或任务类型。

知识蒸馏在 PRM 训练中的应用：蒸馏通常指用一个大模型（教师）的输出分布或软标签来训练一个小模型（学生），使学生以更低成本逼近教师的能力。在 RoCo-PRM 中，教师是强 MoE 模型，其“软标签”并非来自输出 logit，而是来自路由统计量计算出的步骤分数。学生是一个独立的 PRM，学习为推理步骤打分。这种做法的优势在于：教师信号无需人工标注，且路由分数比最终答案的对错包含更丰富的步骤级信息；学生模型则在推理时无需访问 MoE 内部路由，部署更灵活，也解释了为何能跨架构迁移。

架构原生监督的启示

这项工作的核心洞见在于：专家路由不仅仅是计算调度机制，它提供了一种架构原生的过程监督来源。对于MoE模型而言，路由决策本身就是模型内部状态的一种表达，能够反映推理过程中的置信度变化。这一视角为过程监督开辟了新路径——无需外部标注或辅助验证器，直接从模型架构特性中提取监督信号。

未来，这一思路可能启发更多利用模型内部信号进行自我监督的研究，推动推理模型在复杂任务上的可靠性提升。