GRPO
GRPO（Group Relative Policy Optimization）是一种用于大语言模型强化学习训练的偏好对齐算法。其核心特点是去除传统PPO中的价值网络（Critic），通过对同一问题生成多个输出并进行组内相对排序来估计优势函数，从而降低训练资源消耗。该方法常用于提升模型的推理能力，在指令遵循和复杂推理任务上表现良好。
核心事实
时间轴 (近 90 天)
RLVR 的具体实现通常结合 PPO（近端策略优化）或更轻量的 GRPO 等算法
作者发现只用 batch 范围内的全局 -λ·ECE 惩罚几乎不起作用，因为它会被 PPO 或 GRPO 的 baseline 直接吸收抵消
组相对优势是 GRPO 等方法的核心机制，通过组内平均奖励为基准计算每条输出的相对优势，替代传统 RL 中难以估计的价值函数
当一组采样结果全部错误时，组相对优势会坍缩为零，导致高不确定性场景下模型拿不到有效的梯度反馈
RLDS的核心组件是子任务分解优势估计（SDAE），被设计为标量GRPO优势函数的替代品
RLDS在ScienceWorld上每步墙钟时间比标量GRPO减少10.9%，原因是长轨迹摊薄了反思与评分的固定开销
GRPO及相关策略梯度方法把一次完整的多轮交互轨迹压缩成一个标量奖励再送入策略更新，在处理复合技能任务时会造成有损的信用分配
去除价值网络降低了训练所需的计算资源，并消除了策略网络与价值网络之间的梯度协调问题
建议入门者先打牢PPO的基础，再对比理解GRPO的简化思路，以体会其设计动机
一位专注深度学习与NLP研究超过一年半的在校学生在Reddit社区分享了他撰写的GRPO学习文章
还有 34 条时间轴事件
全部知识事实 (20)
GRPO 对同一问题采样多个响应并在组内计算相对奖励来估计基线，省去了单独训练价值网络的开销
90%已验证GRPO（Group Relative Policy Optimization）由DeepSeek提出，无需单独训练价值网络，已成为当前智能体RL训练的主流算法选择
90%已验证基于可验证奖励的强化学习（RLVR）已成为提升模型推理能力的重要路径，是多款前沿推理模型能力跃升的关键因素之一
80%已验证GRPO由DeepSeek团队在2024年提出，是PPO的轻量化变体
75%已验证DeepSeek-R1通过在代码和数学两个可验证域上大规模运行GRPO算法取得成功
70%已验证GRPO是DeepSeek团队提出的强化学习算法，它取消了PPO中的Critic Model，通过对同一问题生成一组回答计算组内相对奖励作为基线
65%已验证GRPO相比PPO省去了价值网络（Critic），直接在组内样本间比较奖励来估计优势函数，显著降低训练计算成本
65%已验证推理增强模型训练层面通常借助GRPO（Group Relative Policy Optimization）等强化学习算法，以最终答案正确性作为奖励信号
65%已验证GRPO通过对同一问题采样一组输出以组内平均奖励作为基线，消除了对独立critic网络的依赖，将显存需求从PPO的约4倍压缩至约2倍
65%待验证GRPO（Group Relative Policy Optimization）通过组内相对奖励来估计优势函数，省去了传统PPO中独立的价值网络（Critic），从而降低了显存开销与实现复杂度
70%待验证GRPO（Group Relative Policy Optimization）相比传统RLHF更适合多步骤决策场景，因为它能同时评估多条执行路径的相对优劣
60%待验证DeepSeek在训练阶段大量使用GRPO算法替代传统的RLHF来压缩训练成本
60%待验证DeepSeek的核心技术创新包括混合专家架构（MoE）、强化学习驱动的推理链训练（GRPO算法）以及激进的模型蒸馏策略
60%待验证RLVR 的具体实现通常结合 PPO（近端策略优化）或更轻量的 GRPO 等算法
50%待验证作者发现只用 batch 范围内的全局 -λ·ECE 惩罚几乎不起作用，因为它会被 PPO 或 GRPO 的 baseline 直接吸收抵消
50%待验证组相对优势是 GRPO 等方法的核心机制，通过组内平均奖励为基准计算每条输出的相对优势，替代传统 RL 中难以估计的价值函数
50%待验证当一组采样结果全部错误时，组相对优势会坍缩为零，导致高不确定性场景下模型拿不到有效的梯度反馈
50%待验证GRPO及相关策略梯度方法把一次完整的多轮交互轨迹压缩成一个标量奖励再送入策略更新，在处理复合技能任务时会造成有损的信用分配
50%待验证RLDS的核心组件是子任务分解优势估计（SDAE），被设计为标量GRPO优势函数的替代品
50%待验证RLDS在ScienceWorld上每步墙钟时间比标量GRPO减少10.9%，原因是长轨迹摊薄了反思与评分的固定开销
50%