概念Temporal Difference Residual / 时序差分残差
TD残差
强化学习中的核心信号，衡量实际结果与价值估计之间的偏差，用于价值函数和策略的梯度更新。
时间轴 (近 90 天)
10月22日
时序差分（TD）残差定义为即时奖励加上折扣后的下一状态价值估计，再减去当前状态的价值估计。
待验证50%
10月22日
在轨迹级稀疏奖励下，TD残差会沿着整条轨迹反向传播，导致早期动作的信用被后期结果稀释甚至扭曲。
待验证50%
强化学习中的核心信号，衡量实际结果与价值估计之间的偏差，用于价值函数和策略的梯度更新。
时序差分（TD）残差定义为即时奖励加上折扣后的下一状态价值估计，再减去当前状态的价值估计。
在轨迹级稀疏奖励下，TD残差会沿着整条轨迹反向传播，导致早期动作的信用被后期结果稀释甚至扭曲。