待验证50% 置信事实精确时间
当GRPO被用于长文RAG训练时，答案级的标量优势值会被平均分配到回答中的每一句话上，导致被复制的句子和真正有依据的句子获得相同的强化信号。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
已验证推理增强模型训练层面通常借助GRPO（Group Relative Policy Optimization）等强化学习算法，以最终答案正确性作为奖励信号76% 相似待验证JustGRPO的核心修复方案是在自回归顺序下训练GRPO，推理阶段保持并行解码75% 相似待验证现有将GRPO等强化学习方法迁移到扩散语言模型的方法通常把去噪轨迹上的每一步都当作同等重要来处理69% 相似待验证GRPO、PPO等算法在大语言模型后训练中被成功应用68% 相似待验证GRPO（Group Relative Policy Optimization）是PPO的一种改进变体，无需训练额外的价值网络，而是通过在同一问题上采样一组回答以组内相对表现作为基准来计算奖励信号68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1023692API
curl https://kongchang.com/api/v1/knowledge/claims/1023692MCP
get_claim(id=1023692)