[控场AI]
模型Margin-Credit Policy Optimization

MCPO

一种强化学习策略优化方法,通过度量模型在每个token上的不确定性(top-2 margin)来分配信用,将优势更集中地分配给模型犹豫的token,以提升学习效率。

时间轴 (近 90 天)

11月11日

MCPO(Margin-Credit Policy Optimization)是一种基于 token 级信用分配的强化学习方法,其核心是在模型犹豫的 token 上分配更多信用。

待验证50%
11月11日

MCPO 使用策略下一个 token 分布的 top-2 margin(概率最高与次高 token 的概率差)来衡量模型的犹豫程度,margin 越小表示模型越不确定。

待验证50%
11月11日

MCPO 通过两个固定阈值将 margin 映射为分数,并在保持每个解的总优势均值不变的前提下,将优势分散到各 token 上。

待验证50%
11月11日

MCPO 的 margin 可以直接从训练器已有的前向传播中读取,不需要额外的模型评估或批次统计量,因此实现成本很低。

待验证50%
11月11日

与未修改的 GRPO 基线相比,MCPO 在全部五个数据随机种子上均取得提升,宏平均 avg@32 平均提升 6.55 分(95% 置信区间 [4.1, 9.0])。

待验证50%
11月11日

在 Qwen3-4B-Base 上的复现实验显示 MCPO 相对 GRPO 同样有提升,三个种子全部为正,平均提升 4.75 分。

待验证50%
11月11日

MCPO 的提升在 'GRPO 只能偶尔解出' 的问题上最为明显,并且随着 pass@k 中的 k 增大而扩大,在 pass@32 时达到 13.8 分的提升。

待验证50%
11月11日

MCPO 训练的模型写出的答案长度是基线的 2 到 3 倍,并且写得更长的运行通常得分更高。

待验证50%
11月11日

作者明确指出,实验未能分离答案长度与信用分配这两个效应,因此无法确定性能提升是来自更长的答案还是 margin 引导的信用分配本身。

待验证50%
11月11日

MCPO 论文来自 RSS 来源,且目前只有一个来源(论文本身),缺乏独立复现。

待验证50%

全部知识事实 (10)

待验证

MCPO(Margin-Credit Policy Optimization)是一种基于 token 级信用分配的强化学习方法,其核心是在模型犹豫的 token 上分配更多信用。

50%
待验证

MCPO 使用策略下一个 token 分布的 top-2 margin(概率最高与次高 token 的概率差)来衡量模型的犹豫程度,margin 越小表示模型越不确定。

50%
待验证

MCPO 通过两个固定阈值将 margin 映射为分数,并在保持每个解的总优势均值不变的前提下,将优势分散到各 token 上。

50%
待验证

MCPO 的 margin 可以直接从训练器已有的前向传播中读取,不需要额外的模型评估或批次统计量,因此实现成本很低。

50%
待验证

与未修改的 GRPO 基线相比,MCPO 在全部五个数据随机种子上均取得提升,宏平均 avg@32 平均提升 6.55 分(95% 置信区间 [4.1, 9.0])。

50%
待验证

在 Qwen3-4B-Base 上的复现实验显示 MCPO 相对 GRPO 同样有提升,三个种子全部为正,平均提升 4.75 分。

50%
待验证

MCPO 的提升在 'GRPO 只能偶尔解出' 的问题上最为明显,并且随着 pass@k 中的 k 增大而扩大,在 pass@32 时达到 13.8 分的提升。

50%
待验证

MCPO 训练的模型写出的答案长度是基线的 2 到 3 倍,并且写得更长的运行通常得分更高。

50%
待验证

作者明确指出,实验未能分离答案长度与信用分配这两个效应,因此无法确定性能提升是来自更长的答案还是 margin 引导的信用分配本身。

50%
待验证

MCPO 论文来自 RSS 来源,且目前只有一个来源(论文本身),缺乏独立复现。

50%

来源文章