标准PPO需要额外训练一个与策略模型同规模的价值网络（critic）来估计基线，GRPO的代价是每个提示需多次采样，采样成本上升。