待验证50% 置信事实精确时间
PPO 算法需要计算旧策略概率与新策略概率的比值（importance ratio），两套引擎的分歧会污染该比值
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
已验证PPO通过引入裁剪目标函数将新旧策略概率比值限制在[1-ε, 1+ε]区间，替代TRPO的KL散度约束，简化了实现复杂度76% 相似待验证PPO等主流RL算法依赖rollout阶段采集的log概率来计算重要性采样比率，若推理与训练引擎的log-prob存在系统性偏差会导致策略梯度方差增大甚至训练发散73% 相似已验证PPO 由 OpenAI 于 2017 年提出，通过裁剪机制限制策略更新幅度，当新旧策略概率比超出 1±0.2 范围时截断梯度69% 相似待验证POMDP的转移概率、观测模型、奖励函数参数一旦估计失准，求解出的最优策略可能不如保守的阈值规则可靠，对初学者小项目而言存在过度工程风险68% 相似已验证PPO的核心创新在于通过裁剪目标函数来限制策略更新的幅度，避免因单次更新过大导致训练崩溃67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/916503API
curl https://kongchang.com/api/v1/knowledge/claims/916503MCP
get_claim(id=916503)