概念同策略采样
on-policy rollout
强化学习中在当前策略分布下采样生成序列的过程，用于GRPO等算法中计算组内相对优势。
时间轴 (近 90 天)
10月26日
在on-policy rollout中，错误的伪标签词很少出现，因此组相对优势始终与干净转写对齐，这是GRPO抗噪的机制解释。
待验证50%
10月26日
on-policy rollout指在当前策略（即学生模型自身）的分布下采样生成序列，而非使用固定数据集或旧策略产生的离线数据。
待验证50%
强化学习中在当前策略分布下采样生成序列的过程，用于GRPO等算法中计算组内相对优势。
在on-policy rollout中，错误的伪标签词很少出现，因此组相对优势始终与干净转写对齐，这是GRPO抗噪的机制解释。
on-policy rollout指在当前策略（即学生模型自身）的分布下采样生成序列，而非使用固定数据集或旧策略产生的离线数据。