待验证50% 置信事实精确时间
在GRPO-style训练中,组内样本必须全部完成才能进行训练,因此tokens/sec在长时程智能体RL中是误导性指标。
1
来源数
50%
置信度
长期有效
时效性
2026/11/4
首次发现
来源
涉及实体
相关事实
待验证Max变体采用组相对策略优化(GRPO)训练目标,用于缓解传统RLHF中常见的奖励不稳定问题。75% 相似待验证在GRPO中,当发现训练不稳定或优势估计异常时,可以检查组内奖励的偏度和方差,判断均值是否被极端值主导。75% 相似待验证GRPO及其变体在实际训练中往往会遇到训练崩溃、奖励震荡、后期性能下降等问题75% 相似待验证在大模型RL训练中,训练框架计算的logprob与推理框架在rollout阶段计算的logprob往往对不上,会在GRPO、PPO等算法的重要性采样权重中被放大,导致训练信号失真甚至训练崩溃74% 相似待验证与标准 GRPO 训练相比,ReTerm-GRPO 在多种不同错误类别上都取得了更稳定、更高的恢复率。74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1136076API
curl https://kongchang.com/api/v1/knowledge/claims/1136076MCP
get_claim(id=1136076)