MCPO：按需分配Token信用，让强化学习更高效

在强化学习与可验证奖励（RLVR）的结合中，GRPO 等算法通常将最终答案的正确性奖励平均分配给生成的所有 token。但一篇来自 RSS 的论文提出了不同思路：只在模型犹豫的地方分配信用，并据此设计了 MCPO（Margin-Credit Policy Optimization）方法。

核心问题：GRPO 的“平均主义”缺陷

GRPO 的工作方式很直接：模型生成一个答案，如果最终正确，则给予奖励，并将该奖励等量地传递给该答案的每一个 token。这种方式实现简单，但忽略了序列中 token 的差异性——有些 token 模型非常确定，有些 token 则处于犹豫状态。

MCPO 的作者认为，信用应当更多地分配给模型犹豫的 token，因为这些位置才是模型学习新知识的关键节点。

GRPO（Group Relative Policy Optimization）是 DeepSeek^广告 团队提出的一种强化学习优化算法，其核心思想是在一组采样回答内部进行相对比较，而不是依赖一个独立的价值网络来估计基线。具体来说，对于同一个问题，模型生成多个回答，计算每个回答的奖励，然后以组内平均奖励作为基线，将每个回答的奖励减去该基线得到优势值（advantage），再用这个优势值来更新策略。这种设计省去了训练价值模型的成本，使强化学习流程更加简洁，因此在 RLVR（可验证奖励强化学习）场景中被广泛采用。理解 GRPO 的关键在于：优势值是一个标量，作用于整个序列，而如何将这个序列级信号分配到各个 token 上，正是 MCPO 试图改进的环节。

MCPO 如何度量“犹豫”

MCPO 用策略下一个 token 分布的 top-2 margin 来衡量犹豫程度：( M = p_1 - p_2 )，即概率最高与次高 token 的概率差。margin 越小，说明模型在两个候选 token 之间越不确定。

随后，通过两个固定阈值将 margin 映射为分数，并在保持每个解的总优势均值不变的前提下，将优势分散到各 token 上。这意味着整体奖励信号的平均水平不变，但分配权重发生了变化。

这种方法有一个实用的优点：margin 直接从训练器已有的前向传播中读取，不需要额外的模型评估，也不需要批次统计量，因此实现成本很低。

实验设置与主要结果

作者使用 LoRA 对 MiniCPM5-2B-Base 进行训练，训练 200 步，数据集为 2,048 个 DAPO-Math 问题，并在六个竞赛数学基准上进行评估。

• 与未修改的 GRPO 基线相比，MCPO 在全部五个数据随机种子上均取得提升，宏平均 avg@32 平均提升 6.55 分（95% 置信区间 [4.1, 9.0]）。
• 在 Qwen3-4B-Base 上的复现实验同样显示提升，三个种子全部为正，平均提升 4.75 分。

提升来自哪里？

分析表明，提升在“GRPO 只能偶尔解出”的问题上最为明显，并且随着 pass@k 中的 k 增大而扩大，在 pass@32 时达到 13.8 分的提升。这说明 MCPO 帮助模型在原本不稳定的问题上提高了覆盖能力。

一个未解之谜：更长的答案

MCPO 训练的模型写出的答案长度是基线的 2 到 3 倍，并且写得更长的运行通常得分更高。但作者明确指出，实验未能分离这两个效应：即无法确定性能提升是来自更长的答案，还是来自 margin 引导的信用分配本身。这是一个重要的开放性局限。

在强化学习训练中，答案长度与性能之间的关系是一个经典混淆因素。已有研究表明，某些策略优化方法会无意中鼓励模型生成更长的输出，因为更长的序列在 token 级平均奖励下可能获得更高的累计信号，或者长答案本身包含更多推理步骤从而更容易答对。要分离长度效应与信用分配效应，通常需要控制变量实验，例如对长度进行惩罚或截断、在相同长度预算下比较、或使用长度归一化的奖励。作者坦承实验未能做到这一点，这意味着 MCPO 相对于 GRPO 的增益中可能有一部分仅仅来自“写得更长”这一副作用，而非 margin 引导的信用分配本身。这一局限对结论的因果解释构成了实质性挑战，也是后续复现和扩展研究需要优先解决的问题。

多源视角与意义

据该 RSS 来源的论文摘要，MCPO 的核心创新在于将 token 级信用分配与模型不确定性对齐。相对于其他需要额外价值网络或复杂统计的方法，MCPO 的轻量级设计使其易于集成到现有训练流程中。

不过，由于只有一个来源（论文本身），且缺乏独立复现，关于“更长答案”这一混淆因素仍需后续研究澄清。

总结

MCPO 提供了一种简单而有效的思路：利用模型自身的犹豫信号来重新分配强化学习中的信用。在多个模型和种子上的稳定提升表明，这种 token 级信用分配策略值得进一步探索。但答案长度这一混杂因素，也提醒我们在解读结果时需要保持谨慎。