时序差分学习
强化学习中的一种无模型学习方法，通过自举方式利用当前估计与下一步估计的差异来更新值函数，是Q学习和Actor-Critic等方法的基础
核心事实
时间轴 (近 90 天)
当关键决策与回报之间相隔数百步时，TD信号会因多步累积的方差和折扣因子而衰减，导致获取动作的价值被严重低估。
时序差分（TD）学习利用每一步的即时奖励和下一状态的估计价值来更新当前状态的价值，结合了蒙特卡洛采样和动态规划自举的思想。
该框架适用于时序差分学习（TD learning）。
多巴胺能系统编码的是奖励预测误差，即实际获得的奖励与预期奖励之间的差值，这一机制是时序差分（TD）强化学习算法的生物学对应物
现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
卷积神经网络的灵感来自神经科学家对视觉皮层感受野的研究，强化学习中的时序差分学习借鉴了心理学中的行为主义学习理论
时序差分（TD）学习由 Richard Sutton 在1988年正式提出，结合了蒙特卡洛方法和动态规划的优点
全部知识事实 (7)
现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
75%待验证时序差分（TD）学习利用每一步的即时奖励和下一状态的估计价值来更新当前状态的价值，结合了蒙特卡洛采样和动态规划自举的思想。
60%待验证当关键决策与回报之间相隔数百步时，TD信号会因多步累积的方差和折扣因子而衰减，导致获取动作的价值被严重低估。
50%待验证该框架适用于时序差分学习（TD learning）。
50%待验证多巴胺能系统编码的是奖励预测误差，即实际获得的奖励与预期奖励之间的差值，这一机制是时序差分（TD）强化学习算法的生物学对应物
50%待验证卷积神经网络的灵感来自神经科学家对视觉皮层感受野的研究，强化学习中的时序差分学习借鉴了心理学中的行为主义学习理论
50%待验证时序差分（TD）学习由 Richard Sutton 在1988年正式提出，结合了蒙特卡洛方法和动态规划的优点
50%