已验证65% 置信事实精确时间

TRPO由John Schulman等人在2015年提出，将策略更新形式化为约束优化问题：最大化替代目标函数同时约束新旧策略之间的KL散度不超过阈值

3

来源数

65%

置信度

长期有效

时效性

2026/8/5

首次发现

来源

策略梯度算法进化史：从REINFORCE到PPO再到GRPO的完整脉络

相关事实

待验证TRPO通过约束策略更新的KL散度来保证单调改进，但需要计算二阶导数（Fisher信息矩阵），实现复杂度高于PPO70% 相似已验证PPO通过引入裁剪目标函数将新旧策略概率比值限制在[1-ε, 1+ε]区间，替代TRPO的KL散度约束，简化了实现复杂度69% 相似待验证PPO由Schulman等人于2017年提出，通过裁剪重要性采样比值约束策略更新步长69% 相似待验证PPO 通过截断重要性采样比率将策略更新约束在旧策略的邻域内，近似实现 on-policy 的稳定性保证62% 相似待验证策略迭代交替进行策略评估和策略改进，在有限 MDP 中必然在有限步内收敛到最优策略。62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/691006

API

curl https://kongchang.com/api/v1/knowledge/claims/691006

MCP

get_claim(id=691006)