概念Policy Gradient
策略梯度
强化学习中一类直接优化策略参数的算法，通过估计梯度来最大化期望回报，在大模型场景中常面临高方差问题
时间轴 (近 90 天)
10月12日
Q-Learning的最后迭代收敛保证在理论上长期落后于平均迭代分析，也落后于策略梯度等方法的同类结果
待验证50%
10月12日
策略梯度方法（如PPO）依赖折扣因子γ对未来奖励进行指数衰减，距离当前时刻t步的奖励只保留γ^t的权重
待验证50%
8月27日
策略梯度定理表明期望回报对策略参数的梯度可表示为 ∇J(θ) = E[∇log π_θ(a|s) · A(s,a)]，其中A是优势函数
待验证50%