Dreamer V1
基于模型的强化学习算法，通过循环状态空间模型（RSSM）学习潜在世界模型，并在潜在空间中想象轨迹训练策略，显著提升样本效率。
时间轴 (近 90 天)
Dreamer V1的世界模型由表示模型、转移模型、奖励预测头和观测预测头四部分组成，均构建在RSSM之上，分别对应后验推断、先验预测与监督信号生成。
Dreamer V1的损失函数由重建项、KL散度项和奖励预测项加权求和构成：重建项通常用均方误差或负对数似然，奖励预测项用交叉熵或MSE。
在Dreamer V1中，KL散度项用于约束后验分布q(z_t|h_t,o_t)与先验分布p(z_t|h_t)之间的距离；若KL权重过大，后验被迫趋近先验导致潜变量丢失观测信息（信息丢失），若权重过小则转移模型无法从先验生成有意义的想象轨迹（后验崩溃）。
Reddit社区近期有一则分享，作者撰写了Dreamer V1的图文教程并配套开源了PyTorch实现，将架构、公式与代码逐项对应，文章与代码结构保持一致。
Dreamer V1与无模型方法相比的样本效率优势来自对观测的压缩复用；与早期基于像素重建的模型相比，它直接在潜在状态上做预测，避免了把容量浪费在无关细节上。
全部知识事实 (5)
Dreamer V1的世界模型由表示模型、转移模型、奖励预测头和观测预测头四部分组成，均构建在RSSM之上，分别对应后验推断、先验预测与监督信号生成。
50%待验证Dreamer V1的损失函数由重建项、KL散度项和奖励预测项加权求和构成：重建项通常用均方误差或负对数似然，奖励预测项用交叉熵或MSE。
50%待验证在Dreamer V1中，KL散度项用于约束后验分布q(z_t|h_t,o_t)与先验分布p(z_t|h_t)之间的距离；若KL权重过大，后验被迫趋近先验导致潜变量丢失观测信息（信息丢失），若权重过小则转移模型无法从先验生成有意义的想象轨迹（后验崩溃）。
50%待验证Dreamer V1与无模型方法相比的样本效率优势来自对观测的压缩复用；与早期基于像素重建的模型相比，它直接在潜在状态上做预测，避免了把容量浪费在无关细节上。
50%待验证Reddit社区近期有一则分享，作者撰写了Dreamer V1的图文教程并配套开源了PyTorch实现，将架构、公式与代码逐项对应，文章与代码结构保持一致。
50%