MCPO
一种强化学习策略优化方法,通过度量模型在每个token上的不确定性(top-2 margin)来分配信用,将优势更集中地分配给模型犹豫的token,以提升学习效率。
时间轴 (近 90 天)
MCPO(Margin-Credit Policy Optimization)是一种基于 token 级信用分配的强化学习方法,其核心是在模型犹豫的 token 上分配更多信用。
MCPO 使用策略下一个 token 分布的 top-2 margin(概率最高与次高 token 的概率差)来衡量模型的犹豫程度,margin 越小表示模型越不确定。
MCPO 通过两个固定阈值将 margin 映射为分数,并在保持每个解的总优势均值不变的前提下,将优势分散到各 token 上。
MCPO 的 margin 可以直接从训练器已有的前向传播中读取,不需要额外的模型评估或批次统计量,因此实现成本很低。
与未修改的 GRPO 基线相比,MCPO 在全部五个数据随机种子上均取得提升,宏平均 avg@32 平均提升 6.55 分(95% 置信区间 [4.1, 9.0])。
在 Qwen3-4B-Base 上的复现实验显示 MCPO 相对 GRPO 同样有提升,三个种子全部为正,平均提升 4.75 分。
MCPO 的提升在 'GRPO 只能偶尔解出' 的问题上最为明显,并且随着 pass@k 中的 k 增大而扩大,在 pass@32 时达到 13.8 分的提升。
MCPO 训练的模型写出的答案长度是基线的 2 到 3 倍,并且写得更长的运行通常得分更高。
作者明确指出,实验未能分离答案长度与信用分配这两个效应,因此无法确定性能提升是来自更长的答案还是 margin 引导的信用分配本身。
MCPO 论文来自 RSS 来源,且目前只有一个来源(论文本身),缺乏独立复现。
全部知识事实 (10)
MCPO(Margin-Credit Policy Optimization)是一种基于 token 级信用分配的强化学习方法,其核心是在模型犹豫的 token 上分配更多信用。
50%待验证MCPO 使用策略下一个 token 分布的 top-2 margin(概率最高与次高 token 的概率差)来衡量模型的犹豫程度,margin 越小表示模型越不确定。
50%待验证MCPO 通过两个固定阈值将 margin 映射为分数,并在保持每个解的总优势均值不变的前提下,将优势分散到各 token 上。
50%待验证MCPO 的 margin 可以直接从训练器已有的前向传播中读取,不需要额外的模型评估或批次统计量,因此实现成本很低。
50%待验证与未修改的 GRPO 基线相比,MCPO 在全部五个数据随机种子上均取得提升,宏平均 avg@32 平均提升 6.55 分(95% 置信区间 [4.1, 9.0])。
50%待验证在 Qwen3-4B-Base 上的复现实验显示 MCPO 相对 GRPO 同样有提升,三个种子全部为正,平均提升 4.75 分。
50%待验证MCPO 的提升在 'GRPO 只能偶尔解出' 的问题上最为明显,并且随着 pass@k 中的 k 增大而扩大,在 pass@32 时达到 13.8 分的提升。
50%待验证MCPO 训练的模型写出的答案长度是基线的 2 到 3 倍,并且写得更长的运行通常得分更高。
50%待验证作者明确指出,实验未能分离答案长度与信用分配这两个效应,因此无法确定性能提升是来自更长的答案还是 margin 引导的信用分配本身。
50%待验证MCPO 论文来自 RSS 来源,且目前只有一个来源(论文本身),缺乏独立复现。
50%