BETS：用信念嵌入树搜索破解POMDP规划难题

在人工智能规划领域，部分可观测马尔可夫决策过程（POMDP）一直是个硬骨头。当智能体无法完全掌握环境状态时，它必须依赖历史动作和观测来推断隐藏状态——这个推断结果就是「信念」。而如何在连续信念空间中高效搜索，成了制约POMDP实际应用的核心瓶颈。

为什么POMDP规划如此困难

POMDP中的信念是给定智能体动作和观测历史后，对隐藏状态的后验分布。它浓缩了历史中所有关于状态的信息，因此POMDP规划本质上是在信念空间上的马尔可夫决策过程（MDP）中做规划。问题在于，即便原始POMDP的状态空间是有限的，其对应的信念MDP也拥有连续状态空间，精确规划在一般情况下不可行。

这迫使规划器必须做两件事：近似信念，以及估计值函数。蒙特卡洛规划器在搜索树中同时完成这两项任务——每个节点维护一个近似信念，每个叶节点给出一个值估计。传统做法是用采样状态集合来近似信念，叶节点值则来自rollout、手工设计的边界或学习到的网络。

这些近似方法的效果受限于其质量。尤其当使用学习网络时，先前方法依赖人工选择的采样状态摘要，这既限制了表达能力，也增加了设计负担。

信念MDP与连续状态空间

POMDP可以形式化地转化为一个定义在信念单纯形上的MDP，称为信念MDP。其状态就是信念（即隐藏状态的后验分布），动作与原POMDP相同，但转移函数由贝叶斯更新规则决定。关键困难在于：即使原POMDP只有有限个状态，其信念空间也是一个连续单纯形。例如，N个隐藏状态的信念是一个N维概率向量，位于N-1维单纯形内。在此连续空间上求解最优值函数，一般需要无限维表示，精确动态规划不可行。因此，实际算法必须对信念空间做有限参数化或离散化，并同时近似值函数，这构成了POMDP规划的根本性挑战。

蒙特卡洛树搜索与Rollout

蒙特卡洛树搜索（MCTS）是一种通过在决策树中反复采样来估计动作价值的在线规划方法。在POMDP中，每个搜索节点对应一个信念，边对应动作和观测。由于无法穷举，MCTS从当前信念出发，按一定策略（如UCT）选择动作、采样观测，逐步扩展树。叶节点值通常由rollout估计：从该节点出发，用默认策略模拟若干步直到终止或达到深度限制，取平均回报作为值估计。Rollout的质量和计算成本直接影响规划效果。BETS在搜索树中维护可学习的信念嵌入，正是为了替代传统MCTS中基于采样状态集合的粗糙信念近似，从而提升节点表示的表达能力。

BETS的核心思路：生成分布嵌入

研究团队提出了Belief Embedding Tree Search（BETS），一种满足三项关键要求的蒙特卡洛规划器：信念表示可从父节点通过POMDP动力学计算得到、搜索可从中采样、且可被学习以提供策略和值函数所需的信息。

BETS用生成分布嵌入（Generative Distribution Embedding, GDE）来表示每个节点的信念，并通过POMDP动力学进行更新。与依赖手工摘要的先前方法不同，GDE让信念表示本身成为可训练的参数化模型。

训练方式也颇具巧思：BETS在经验积累过程中同步训练信念模型、策略网络和值网络，其中信念模型的训练目标就是POMDP实际实现的隐藏状态。这意味着信念模型直接学习「从观测历史中恢复真实状态」的能力，而非拟合某种间接代理目标。

生成分布嵌入与协同训练

生成分布嵌入（GDE）是一种用参数化生成模型表示概率分布的方法。与直接存储一组采样状态不同，GDE学习一个从低维隐变量到状态空间的映射，同时用编码器将观测历史映射为隐变量分布，从而可以生成任意数量的候选状态并计算密度。在BETS中，每个树节点的信念都表示为GDE的一个实例，并可根据父节点的信念通过POMDP动力学（预测-更新）计算得到。训练时，BETS联合优化三个组件：信念模型（GDE）、策略网络和值网络。信念模型的损失是最小化生成分布与真实隐藏状态之间的差异，常用负对数似然或最大均值差异。由于信念表示是可微的，策略和值网络的梯度可以回传至信念模型，实现端到端的协同适应。

实验表现：六项配置全面检验

研究在RockSample、LightDark和PocMan三个经典POMDP环境的六种配置上评估了BETS，对比基线包括BetaZero以及三个不含学习组件的规划器。

结果显示，BETS在所有六项配置上要么具有竞争力，要么处于领先地位，而每个基线都至少在一项配置上远远落后。尤为突出的是，在信念维度最高的配置中，BETS大幅超越所有对比方法，甚至在不进行搜索的情况下也能保持优势。

这一结果的意义值得细品。高维信念空间恰恰是传统近似方法最容易失效的场景——采样状态集合的覆盖能力随维度指数级下降，手工摘要更难以捕捉关键信息。BETS通过可学习的嵌入表示绕开了这一困境，让信念表示在高维场景下依然保持信息量。

对POMDP规划范式的启示

BETS的价值不止于性能数字。它提出了一种思路：信念表示不应是预先设计好的固定形式，而应与策略和值函数协同学习，并在搜索树中通过动力学自然传播。

这与当前AI领域「端到端学习+结构化搜索」的融合趋势一脉相承。纯粹的端到端方法缺乏搜索的精确性，纯粹的传统规划器又受限于手工近似。BETS在两者之间找到了一个可扩展的平衡点。

当然，BETS仍有局限。它依赖POMDP动力学的可访问性来更新信念嵌入，在动力学未知或难以建模的场景中如何适用，尚待探索。此外，信念模型的训练目标要求环境提供真实隐藏状态作为监督信号，这在部分实际应用中可能不可得。

但无论如何，BETS为POMDP规划提供了一个有说服力的新基线。当信念空间变得高维且复杂时，可学习的嵌入表示或许是比采样集合更可靠的近似工具。