待验证50% 置信事实精确时间
在 on-policy RL 中,如果推理阶段的计算图、算子融合顺序或累加精度与训练阶段不同,采样分布会偏离本应策略分布,导致重要性采样比率或优势估计产生系统性偏差。
1
来源数
50%
置信度
长期有效
时效性
2026/11/20
首次发现
来源
涉及实体
相关事实
待验证RWM的预测质量高度依赖上下文示例的代表性和数量;当新提案偏离上下文示例分布时,预测误差会显著上升。79% 相似待验证PPO等主流RL算法要求用于生成样本的策略与当前被优化的策略尽量一致(on-policy),否则off-policy数据会引入偏差、降低样本效率并可能导致训练不稳定78% 相似待验证当引导信号偏离模型自身的采样分布时,策略梯度估计会产生偏差77% 相似待验证低精度引入的数值扰动会在RL的多轮迭代中通过策略梯度的乘积形式被放大,可能导致训练崩溃或模型性能退化77% 相似待验证PPO等主流RL算法依赖rollout阶段采集的log概率来计算重要性采样比率,若推理与训练引擎的log-prob存在系统性偏差会导致策略梯度方差增大甚至训练发散77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1190456API
curl https://kongchang.com/api/v1/knowledge/claims/1190456MCP
get_claim(id=1190456)