待验证50% 置信事实精确时间

优势函数A(s,a) = Q(s,a) - V(s)，PPO实际实现中通常使用广义优势估计（GAE），典型设置λ取0.95，γ取0.99

1

来源数

50%

置信度

长期有效

时效性

2026/8/17

首次发现

来源

从Q-learning到PPO：用超级马里奥实战强化学习

相关事实

待验证优势函数A(s,a) = Q(s,a) - V(s)衡量某个动作相对于平均水平的好坏程度77% 相似待验证功效分析需要预先指定显著性水平α（通常0.05）、期望统计功效（通常0.8或0.9）和预期效应量三个核心参数62% 相似待验证GAE通过引入λ参数在偏差和方差之间折中，λ=1退化为蒙特卡洛估计，λ=0退化为单步TD估计，实践中λ=0.95左右通常能取得良好平衡59% 相似待验证PER中重要性采样权重的β参数从较小值（如0.4）线性退火到158% 相似待验证误差范围的计算源于中心极限定理，公式为 MOE = z × √(p(1-p)/n)，95%置信水平时z约为1.9658% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/763998

API

curl https://kongchang.com/api/v1/knowledge/claims/763998

MCP

get_claim(id=763998)