Q-learning
强化学习中最经典的值函数方法之一，由Watkins于1989年提出，核心是维护Q表记录每个状态下执行每个动作的预期累积奖励值，通过贝尔曼方程迭代更新
核心事实
时间轴 (近 90 天)
贝尔曼方程是MDP的递归解形式，将价值函数拆解为即时奖励与折扣后的未来价值之和，是价值迭代、策略迭代以及Q-learning等算法的理论基础。
Q-learning 属于基于价值的方法，学习动作价值函数 Q(s,a)，通过选择 Q 值最大的动作来决策，通常配合离散动作空间。
社区讨论中，有用户指出MCTS的理论分析不如Q-learning等值迭代方法成熟，但其经验有效性不容忽视。
使用感知框架的算法层面通常可以用 REINFORCE、重参数化技巧（reparameterization trick）或基于价值的 Q-learning 求解，具体选择取决于实验空间是离散还是连续、规则是否可微等。
Q-learning 的更新目标是即时奖励加上下一状态最大 Q 值的折扣，因此无论智能体实际采用什么行为策略，它都在逼近最优动作价值函数。
在探索性强、风险高的环境中，Q-learning 更激进，SARSA 更保守，两者可能收敛到不同的策略。
REINFORCE直接对策略本身求梯度，不需要显式估计每个状态的价值，与Q-learning等值函数方法不同
现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
1989年Chris Watkins提出Q-learning算法，奠定了无模型强化学习的基础
DQN的关键在于将卷积神经网络与Q-learning算法结合，让智能体无需手工设计特征即可自主学习策略
还有 2 条时间轴事件
全部知识事实 (12)
现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
75%已验证Q-Learning是离策略（off-policy）方法，更新Q值时假设未来采取最优动作；SARSA是在策略（on-policy）方法，基于实际执行的动作更新Q值
65%待验证贝尔曼方程是MDP的递归解形式，将价值函数拆解为即时奖励与折扣后的未来价值之和，是价值迭代、策略迭代以及Q-learning等算法的理论基础。
50%待验证Q-learning 属于基于价值的方法，学习动作价值函数 Q(s,a)，通过选择 Q 值最大的动作来决策，通常配合离散动作空间。
50%待验证社区讨论中，有用户指出MCTS的理论分析不如Q-learning等值迭代方法成熟，但其经验有效性不容忽视。
50%待验证使用感知框架的算法层面通常可以用 REINFORCE、重参数化技巧（reparameterization trick）或基于价值的 Q-learning 求解，具体选择取决于实验空间是离散还是连续、规则是否可微等。
50%待验证Q-learning 的更新目标是即时奖励加上下一状态最大 Q 值的折扣，因此无论智能体实际采用什么行为策略，它都在逼近最优动作价值函数。
50%待验证在探索性强、风险高的环境中，Q-learning 更激进，SARSA 更保守，两者可能收敛到不同的策略。
50%待验证REINFORCE直接对策略本身求梯度，不需要显式估计每个状态的价值，与Q-learning等值函数方法不同
50%待验证DQN的关键在于将卷积神经网络与Q-learning算法结合，让智能体无需手工设计特征即可自主学习策略
50%待验证Q-Learning 是 off-policy 的 TD 控制方法，直接学习最优动作价值函数；SARSA 是 on-policy 方法，更新时使用智能体实际选择的下一个动作
50%待验证1989年Chris Watkins提出Q-learning算法，奠定了无模型强化学习的基础
50%