POMDP
强化学习与决策论中的数学框架，描述智能体在无法完全观测环境状态下进行序列决策的问题，广泛应用于机器人导航、游戏AI、金融决策等领域
核心事实
时间轴 (近 90 天)
即使原始POMDP的状态空间有限，其对应的信念MDP也拥有连续状态空间，精确规划在一般情况下不可行。
论文提供了从真实POMDP价值到算法估计值的端到端有限时间误差保证
论文证明了粒子信念MDP代理与原始POMDP之间差距的有限时间界，作为其核心理论结果
通过修改价值函数引入风险敏感性会破坏原有问题的标准结构，导致研究者必须设计全新的定制算法而无法复用现有基于期望的规划器
传统在线POMDP规划器以优化期望累积成本为目标，当信念状态在高成本状态上分配显著概率质量时，单纯追求期望最优会掩盖潜在危险状态
《皇室战争》属于典型的部分可观测环境（POMDP），玩家无法完整观察对手的手牌、圣水积累和出牌意图
战争迷雾机制考验AI在「部分可观测马尔可夫决策过程」（POMDP）环境中的规划能力
部分可观测环境对应的是部分可观测马尔可夫决策过程（POMDP），在计算上比完全可观测的马尔可夫决策过程（MDP）难度大幅增加
解决POMDP的经典方法是维护信念状态（belief state），但在高维空间中计算上不可行；现代深度强化学习通过LSTM或GRU等循环结构隐式维护历史信息
现代深度强化学习通过在策略网络中引入循环结构（如LSTM或GRU）来隐式维护历史信息以处理POMDP
还有 5 条时间轴事件
全部知识事实 (15)
精确求解POMDP在计算上是PSPACE难问题
75%待验证即使原始POMDP的状态空间有限，其对应的信念MDP也拥有连续状态空间，精确规划在一般情况下不可行。
50%待验证论文证明了粒子信念MDP代理与原始POMDP之间差距的有限时间界，作为其核心理论结果
50%待验证论文提供了从真实POMDP价值到算法估计值的端到端有限时间误差保证
50%待验证传统在线POMDP规划器以优化期望累积成本为目标，当信念状态在高成本状态上分配显著概率质量时，单纯追求期望最优会掩盖潜在危险状态
50%待验证通过修改价值函数引入风险敏感性会破坏原有问题的标准结构，导致研究者必须设计全新的定制算法而无法复用现有基于期望的规划器
50%待验证《皇室战争》属于典型的部分可观测环境（POMDP），玩家无法完整观察对手的手牌、圣水积累和出牌意图
50%待验证战争迷雾机制考验AI在「部分可观测马尔可夫决策过程」（POMDP）环境中的规划能力
50%待验证部分可观测环境对应的是部分可观测马尔可夫决策过程（POMDP），在计算上比完全可观测的马尔可夫决策过程（MDP）难度大幅增加
50%待验证解决POMDP的经典方法是维护信念状态（belief state），但在高维空间中计算上不可行；现代深度强化学习通过LSTM或GRU等循环结构隐式维护历史信息
50%待验证现代深度强化学习通过在策略网络中引入循环结构（如LSTM或GRU）来隐式维护历史信息以处理POMDP
50%待验证MDP假设当前状态包含做出最优决策所需的全部信息（马尔可夫性质），而POMDP中智能体无法直接观测完整的环境状态
50%待验证POMDP由七元组(S, A, T, R, Ω, O, γ)定义，智能体无法直接观测状态，只能通过观测信号维护信念状态
50%待验证Williams和Young在2007年的工作奠定了POMDP对话管理的理论基础，证明其在不确定性建模上优于基于规则或确定性状态追踪的系统
50%待验证POMDP（部分可观测马尔可夫决策过程）是MDP（马尔可夫决策过程）的推广形式，在标准MDP中智能体能完全观测环境状态，而POMDP承认智能体无法直接获知真实状态，只能通过带噪声的观测间接推断
50%