Dream-RSI：用历史回放模拟器破解智能体探索成本难题

长周期智能体的自我改进一直卡在同一个瓶颈上：探索策略的评估太贵了。UMD 与 Google DeepMind 研究者提出的 Dream-RSI，把过去积累的探索历史当作一个"回放模拟器"，让智能体在不执行真实动作的前提下评估新策略，大幅压缩了成本。

问题：递归自我改进为何如此昂贵

在递归自我改进（Recursive Self-Improvement, RSI）中，最关键也最烧钱的环节是探索策略优化。传统流程是这样的：你提出一个新的探索策略，然后必须把智能体放进真实环境里跑完整的在线 rollout，才能知道它是否探索得更好。

这意味着每一次策略迭代都要付出昂贵的在线执行代价。在算法工程、数学优化、GPU 内核工程这类长周期发现任务里，单次真实运行可能涉及大量计算资源和时间，而评估一个策略往往需要多轮这样的循环。探索策略优化因此成为整个 RSI 管线里最重的成本中心。

递归自我改进（RSI）的概念源于让AI系统通过修改自身算法或策略来持续提升能力的研究方向。在实践中，这通常表现为一个外层循环：智能体先执行任务、收集反馈，再根据反馈调整自身的探索或决策策略，然后重新执行——如此往复。"在线 rollout"指的是智能体在真实（或高保真仿真）环境中完整运行一遍任务的过程，与之相对的"离策略（off-policy）"评估则是利用已有数据来估算新策略的表现，无需重新执行。长周期发现任务的挑战在于，单次 rollout 本身代价极高——例如优化一个 GPU 内核可能需要编译、部署并基准测试数十种候选实现——导致传统的"提出策略→在线验证→迭代"闭环在计算成本上几乎不可承受。

核心思路：把历史当作可回放的模拟器

Dream-RSI 的做法值得玩味：它不再依赖新的真实执行，而是把已经积累下来的发现历史（discovery history）转化为一个"回放模拟器"。

具体来说，过去的运行中记录了大量的探索分支——包括那些当时没有被主线选中、却仍被记录下来的替代路径。Dream-RSI 通过在这个模拟器里"做梦"（dreaming），去重走这些已记录的替代分支，从而获得即时、低成本的离策略（off-policy）反馈。智能体可以在这个虚拟空间里反复评估和打磨自己的探索策略，而不必真正执行任何昂贵的现实动作。

这本质上是把"探索"和"评估"两件事解耦：探索的真实数据只需采集一次，之后的策略迭代都在回放层完成。对于动辄需要几十上百次在线循环的任务而言，这种解耦带来的成本节省是数量级的。

"离策略（off-policy）"是强化学习中的核心概念，指用与当前目标策略不同的行为策略所产生的历史数据来训练或评估智能体。与之相对的"在策略（on-policy）"方法则要求数据必须由当前策略直接产生。离策略方法的最大优势是数据复用：一批历史轨迹可以被反复用于评估多个不同的候选策略，而无需重新与环境交互。Dream-RSI 中的"回放模拟器"正是这一思想的具体实现——它将历史运行中记录的未被选中的替代探索分支保留下来，使这些数据能够在后续策略迭代中被反复利用。这与 Q-learning、经验回放（Experience Replay）等经典离策略技术在哲学上一脉相承，区别在于 Dream-RSI 针对的是更长时间跨度、更稀疏奖励的发现任务场景。

实验结果：最高 162 倍的调用节省

研究团队在三个领域验证了这一方法：算法工程、数学优化和 GPU 内核工程。

在算法工程任务中（Lasso path solver），Dream-RSI 相比 SimpleTES 等基线，能够将智能体调用次数减少 162 倍，同时表现仍然优于标准库实现。这是本文最抢眼的数据点，也直接印证了回放模拟器在削减在线成本上的威力。

在数学优化任务里，它匹配甚至超越了强基线，带来了超过 50 倍的预算节省。跨三个差异较大的领域都能取得显著收益，说明这一思路并不局限于某一类特定任务，而具备一定的通用性。

边界与局限：模拟器无法凭空想象

必须冷静看待的是，这是一篇 arXiv v1 预印本，尚未经过完整的同行评审。

更关键的是方法本身的固有限制：回放模拟器天然被历史运行所探索过的状态空间所约束。换句话说，它只能在已经踩过的分支里"做梦"，对于历史中从未触及的全新分支，模拟器无法在没有真实执行的情况下完美还原。这意味着当任务需要跳出已有经验、探索真正陌生的区域时，仍然离不开真实环境的执行。

这个局限决定了 Dream-RSI 更像是一个"高效复用已有经验"的加速器，而非完全替代在线探索的银弹。它擅长在已知状态空间内精炼策略，但探索的"边疆"仍需真实数据来拓展。

这一局限在强化学习领域有一个专门的术语——"分布偏移（distribution shift）"：当新策略尝试访问的状态分布与历史数据的覆盖分布不一致时，基于历史数据的评估会出现系统性偏差。在基于模型的强化学习（Model-Based RL）中，类似问题被称为"模型外推误差（model extrapolation error）"，通常的应对手段是周期性地回到真实环境采集新数据来修正模型。Dream-RSI 的回放模拟器本质上是一个零外推能力的极端保守估计器——它拒绝对历史未见状态做任何预测，这在保证评估可靠性的同时，也硬性划定了它的适用边界。对于探索策略变化幅度较小、主要在已知状态空间内精炼的场景，这个设计是合理的；一旦需要跨越已有经验边界，就必须切换回在线执行模式。

值得动手验证的证伪实验

原帖作者提出了一个很实在的证伪测试：拿一个自定义的长周期发现任务，先用固定探索策略跑一遍智能体、构建出模拟器，然后看"梦出来"的策略在真实在线部署时是否真的提升了探索效率。

这个测试直击方法的核心假设——回放模拟器里评估出的优势，能否迁移到真实环境。如果迁移成立，那么 Dream-RSI 在自动化算法发现、编译器/内核优化、组合优化求解器调优等需要大量迭代的工作流中，都有落地价值。对于任何正在搭建长周期智能体管线、又苦于在线评估成本的团队来说，这是一个值得纳入实验清单的方向。

论文原文：https://arxiv.org/abs/2609.14858v1