Unverified50% confidenceFactExact time
Qwen2.5后训练首次在在线阶段使用GRPO，GRPO是DeepSeek团队提出的PPO轻量化变体，去掉独立价值网络，用组内平均奖励作为基线
1
Sources
50%
Confidence
Long-term
Relevance
7/22/2026
First Seen
Sources
Related Claims
UnverifiedGRPO是DeepSeek团队提出的强化学习算法，它取消了PPO中的Critic Model，通过对同一问题生成一组回答计算组内相对奖励作为基线79% similarVerifiedGRPO（Group Relative Policy Optimization）由DeepSeek提出，无需单独训练价值网络，已成为当前智能体RL训练的主流算法选择75% similarVerifiedGRPO由DeepSeek团队系统化提出并在训练DeepSeek-R1系列模型时得到大规模验证74% similarUnverifiedGRPO和GSPO均是PPO算法的改进变体，DeepSeek-R1凭借GRPO在推理能力上实现大幅跃升74% similarUnverifiedDeepSeek在训练阶段大量使用GRPO算法替代传统的RLHF来压缩训练成本73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/585439API
curl https://kongchang.com/api/v1/knowledge/claims/585439MCP
get_claim(id=585439)