待验证50% 置信事实精确时间

策略梯度方法（如PPO）依赖折扣因子γ对未来奖励进行指数衰减，距离当前时刻t步的奖励只保留γ^t的权重

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

解释性世界模型EWM：用因果解释破解强化学习的延迟奖励难题

涉及实体

PPOconcept 策略梯度concept

相关事实

待验证稀疏奖励加上长时间跨度使得基于梯度的优化信号在反向传播过程中大幅衰减74% 相似已验证PPO通过引入裁剪目标函数将新旧策略概率比值限制在[1-ε, 1+ε]区间，替代TRPO的KL散度约束，简化了实现复杂度69% 相似已验证PPO的核心创新在于通过裁剪目标函数来限制策略更新的幅度，避免因单次更新过大导致训练崩溃69% 相似已验证PPO 由 OpenAI 于 2017 年提出，通过裁剪机制限制策略更新幅度，当新旧策略概率比超出 1±0.2 范围时截断梯度68% 相似待验证消融实验显示增加示例使用量并不会带来一致收益，而是呈现动态性与奖励之间的权衡关系67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1001108

API

curl https://kongchang.com/api/v1/knowledge/claims/1001108

MCP

get_claim(id=1001108)