待验证50% 置信事实精确时间

传统的PPO算法需要同时训练一个策略网络和一个价值网络（Critic/Value Model）

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

深入理解GRPO：大模型强化学习的高效对齐方法

涉及实体

相关事实

待验证基于策略梯度的算法（如 PPO）通常包含 Actor 网络 π(s) 和 Critic 网络 V(s) 两个核心网络75% 相似待验证该独立开发者的销售转化模型采用PPO（近端策略优化）在序列嵌入之上进行训练75% 相似待验证Proximal Policy Optimization（PPO）是机器人强化学习的主力策略梯度算法工具73% 相似待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络72% 相似待验证PPO 需要同时维护策略模型、参考模型、奖励模型和价值模型，对 70B 参数模型意味着需同时加载约四倍模型参数，显存开销巨大69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/944581

API

curl https://kongchang.com/api/v1/knowledge/claims/944581

MCP

get_claim(id=944581)