BETS

BETS（Belief Embedding Tree Search）是一种满足三项关键要求的蒙特卡洛规划器：信念表示可从父节点通过POMDP动力学计算得到、搜索可从中采样、且可被学习以提供策略和值函数所需的信息。

BETS使用生成分布嵌入（GDE）来表示每个节点的信念，并通过POMDP动力学进行更新。

BETS在训练中联合优化信念模型（GDE）、策略网络和值网络，信念模型的损失是最小化生成分布与真实隐藏状态之间的差异，常用负对数似然或最大均值差异。

由于信念表示是可微的，策略和值网络的梯度可以回传至信念模型，实现端到端的协同适应。

研究在RockSample、LightDark和PocMan三个经典POMDP环境的六种配置上评估了BETS，对比基线包括BetaZero以及三个不含学习组件的规划器。

BETS在所有六项配置上要么具有竞争力，要么处于领先地位，而每个基线都至少在一项配置上远远落后。

在信念维度最高的配置中，BETS大幅超越所有对比方法，甚至在不进行搜索的情况下也能保持优势。

BETS依赖POMDP动力学的可访问性来更新信念嵌入，在动力学未知或难以建模的场景中如何适用尚待探索。

BETS的信念模型训练目标要求环境提供真实隐藏状态作为监督信号，这在部分实际应用中可能不可得。