Verified70% confidenceFactExact time
PPO（Proximal Policy Optimization）是OpenAI于2017年提出的策略梯度算法，通过裁剪目标函数来限制每次策略更新的幅度
4
Sources
70%
Confidence
Long-term
Relevance
8/26/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedProximal Policy Optimization（PPO）是机器人强化学习的主力策略梯度算法工具77% similarUnverifiedPPO 需要同时维护策略模型、参考模型、奖励模型和价值模型，对 70B 参数模型意味着需同时加载约四倍模型参数，显存开销巨大65% similarUnverifiedGRPO（Group Relative Policy Optimization）是PPO的一种改进变体，无需训练额外的价值网络，而是通过在同一问题上采样一组回答以组内相对表现作为基准来计算奖励信号64% similarUnverified策略梯度方法本质上是on-policy的，因为梯度估计中的期望是关于当前策略分布的63% similarUnverifiedPPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/805065API
curl https://kongchang.com/api/v1/knowledge/claims/805065MCP
get_claim(id=805065)