MDP
马尔可夫决策过程，为智能体的感知—决策—执行闭环提供数学框架，由状态空间、动作空间、转移概率和奖励函数四要素构成，是AlphaGo、自动驾驶等AI系统的理论基础
核心事实
时间轴 (近 90 天)
半马尔可夫决策过程（Semi-MDP）是标准MDP的扩展，区别在于动作的执行时间可以是变长的，而非固定的单步时间戳
论文假设可以访问MDP的生成式模型，即算法能够对任意状态-动作对进行采样查询
部分可观测环境对应的是部分可观测马尔可夫决策过程（POMDP），在计算上比完全可观测的马尔可夫决策过程（MDP）难度大幅增加
策略梯度定理表明期望回报对策略参数的梯度可表示为 ∇J(θ) = E[∇log π_θ(a|s) · A(s,a)]，其中A是优势函数
MDP假设当前状态包含做出最优决策所需的全部信息（马尔可夫性质），而POMDP中智能体无法直接观测完整的环境状态
Agent Loop的理论基础可追溯到1980年代的BDI（Belief-Desire-Intention）架构和强化学习中马尔可夫决策过程（MDP）的agent-environment interaction loop
全部知识事实 (7)
强化学习通过智能体与环境的持续交互来学习最优策略，其数学基础是马尔可夫决策过程（MDP），由状态空间、动作空间、转移函数、奖励函数和折扣因子构成
80%待验证Agent Loop的理论基础可追溯到1980年代的BDI（Belief-Desire-Intention）架构和强化学习中马尔可夫决策过程（MDP）的agent-environment interaction loop
60%待验证半马尔可夫决策过程（Semi-MDP）是标准MDP的扩展，区别在于动作的执行时间可以是变长的，而非固定的单步时间戳
50%待验证论文假设可以访问MDP的生成式模型，即算法能够对任意状态-动作对进行采样查询
50%待验证部分可观测环境对应的是部分可观测马尔可夫决策过程（POMDP），在计算上比完全可观测的马尔可夫决策过程（MDP）难度大幅增加
50%待验证策略梯度定理表明期望回报对策略参数的梯度可表示为 ∇J(θ) = E[∇log π_θ(a|s) · A(s,a)]，其中A是优势函数
50%待验证MDP假设当前状态包含做出最优决策所需的全部信息（马尔可夫性质），而POMDP中智能体无法直接观测完整的环境状态
50%