已验证70% 置信事实精确时间
PPO（Proximal Policy Optimization）是OpenAI于2017年提出的策略梯度算法，通过裁剪目标函数来限制每次策略更新的幅度
4
来源数
70%
置信度
长期有效
时效性
2026/8/26
首次发现
来源
涉及实体
相关事实
待验证Proximal Policy Optimization（PPO）是机器人强化学习的主力策略梯度算法工具77% 相似待验证PPO 需要同时维护策略模型、参考模型、奖励模型和价值模型，对 70B 参数模型意味着需同时加载约四倍模型参数，显存开销巨大65% 相似待验证GRPO（Group Relative Policy Optimization）是PPO的一种改进变体，无需训练额外的价值网络，而是通过在同一问题上采样一组回答以组内相对表现作为基准来计算奖励信号64% 相似待验证策略梯度方法本质上是on-policy的，因为梯度估计中的期望是关于当前策略分布的63% 相似待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/805065API
curl https://kongchang.com/api/v1/knowledge/claims/805065MCP
get_claim(id=805065)