GRPO
GRPO(Group Relative Policy Optimization)是一种用于大语言模型强化学习训练的偏好对齐算法。其核心特点是去除传统PPO中的价值网络(Critic),通过对同一问题生成多个输出并进行组内相对排序来估计优势函数,从而降低训练资源消耗。该方法常用于提升模型的推理能力,在指令遵循和复杂推理任务上表现良好。
核心事实
时间轴 (近 90 天)
PRM有两种典型用法:作为奖励模型配合强化学习(如PPO、GRPO)优化策略模型,或在推理时作为验证器对候选步骤或完整解进行打分与重排序。
在最大分辨率下,CrossRPO在ViRA-Bench上取得63.3%的集合准确率,而基线GRPO为59.3%。
传统强化学习如GRPO仅对最终答案进行奖励,导致猜对的答案与真正读取证据的答案获得相同奖励,模型缺乏学习定位关键区域的动力。
将GRPO加入ICL后,有助于恢复检查和验证行为,同时保留ICL减少环境查找的优势。
在每个ICL策略下添加GRPO都能改善总体均值,说明强化学习与上下文学习的组合具有稳健性。
研究在共享的在线协议和模块化框架下对比了三种适应机制:上下文学习(ICL)、使用GRPO的带可验证奖励的强化学习、以及使用SDPO的自蒸馏。
在最佳ICL策略基础上加入GRPO,达到了最高的平均成功率51.6%。
由于组内标准化会消除奖励的量纲差异,奖励函数可以相对自由地组合规则校验与模型打分。
在GRPO中,组越大,标准化后的优势估计越稳定,但采样成本同步上升。
GRPO把“如何评估一个回答好不好”的难题转化为“同一问题下哪个回答相对更好”的排序问题,用相对比较替代绝对打分。
还有 40 条时间轴事件
全部知识事实 (20)
GRPO由DeepSeek团队系统化提出并在训练DeepSeek-R1系列模型时得到大规模验证
90%已验证GRPO 对同一问题采样多个响应并在组内计算相对奖励来估计基线,省去了单独训练价值网络的开销
90%已验证GRPO(Group Relative Policy Optimization)由DeepSeek提出,无需单独训练价值网络,已成为当前智能体RL训练的主流算法选择
90%已验证GRPO 是一种无需价值网络的强化学习方法,通过对同一提示采样一组回答、以组内相对优势作为奖励信号来更新策略,在数学与推理任务中表现良好,但其奖励信号本身不携带几何信息。
80%已验证强化学习的典型算法包括 PPO、SAC 等,核心难点在于奖励设计——奖励过于稀疏会导致学习缓慢,过于具体又容易让策略钻空子。
75%已验证GRPO对同一个输入采样一组多个输出,以组内奖励的均值作为基线计算优势函数,从而省去价值网络并降低显存和计算开销。
75%已验证GRPO 的核心特点是对同一个输入生成一组候选输出,用这组输出的相对优劣计算优势值,不需要像 PPO 那样训练独立的 critic/value 网络。
75%已验证GRPO通过对同一输入生成一组候选输出,以组内相对奖励而非绝对奖励信号来更新模型,降低了对独立价值网络(critic)的依赖
75%已验证RL阶段每一步训练需要同时运行推理(生成rollout)和反向传播(更新权重),因此算力需求远高于普通微调
75%已验证Anthropic的一项研究表明,模型在训练中学会奖励黑客(reward-hacking)后,可能进一步演化为更广泛、更严重的错位行为
75%已验证GRPO(Group Relative Policy Optimization)通过组内相对奖励来估计优势函数,省去了传统PPO中独立的价值网络(Critic),从而降低了显存开销与实现复杂度
75%已验证多任务学习面临负迁移(negative transfer)风险,当任务间的梯度方向冲突时联合训练可能损害单个任务的性能
75%已验证GRPO(Group Relative Policy Optimization)是PPO的一种改进变体,无需训练额外的价值网络,而是通过在同一问题上采样一组回答以组内相对表现作为基准来计算奖励信号
75%已验证GRPO(Group Relative Policy Optimization)相比传统RLHF更适合多步骤决策场景,因为它能同时评估多条执行路径的相对优劣
75%已验证DeepSeek-R1通过在代码和数学两个可验证域上大规模运行GRPO算法取得成功
75%已验证GRPO由DeepSeek团队在2024年提出,是PPO的轻量化变体
75%已验证GRPO算法通过组内相对奖励机制直接比较同一问题的一组答案优劣,省去了PPO所需的独立评论家模型
75%已验证GRPO是DeepSeek团队提出的强化学习算法,它取消了PPO中的Critic Model,通过对同一问题生成一组回答计算组内相对奖励作为基线
65%已验证GRPO相比PPO省去了价值网络(Critic),直接在组内样本间比较奖励来估计优势函数,显著降低训练计算成本
65%已验证推理增强模型训练层面通常借助GRPO(Group Relative Policy Optimization)等强化学习算法,以最终答案正确性作为奖励信号
65%