Agima：让AI智能体先「想象」再行动

AI智能体在真实环境中执行动作时，往往面临「一步错，满盘输」的困境。在推箱子游戏（Sokoban）里，一个看似合理的推动就可能让谜题永久无解。当环境反馈稀疏、动作不可逆时，智能体必须在执行前预判后果。一项名为 Agentic Imagination（Agima） 的训练框架提出了一个直观却有力的思路：让智能体先想象、再行动。

Agima 训练框架示意

核心设计：一个模型同时做三件事

Agima 的核心是一套统一的训练框架，训练单个「全能模型」（omni model）完成三项任务：提出候选动作、生成这些动作可能导致的未来画面、然后在这些「想象出的未来」上进行推理，最终决定在真实环境中执行哪个动作。

与传统的单路径规划不同，这样的智能体可以模拟一串动作序列、探索多种备选方案，并比较不同未来图景的优劣。这让「前瞻」从一种昂贵的额外计算，变成了模型内生的决策环节。

两阶段训练：先学会想象，再学会用想象

Agima 的训练分为两个阶段。

阶段一：监督微调统一策略与世界模型

研究团队首先用监督微调（SFT）把策略（policy）和世界模型（world modeling）统一到同一个全能模型中。这一步让智能体具备预测未来结果的能力，并掌握基础形式的「想象」——包括前向思考（forward thinking）和反事实分支（counterfactual branching）。

世界模型（World Model） 是强化学习与模型预测控制中的核心概念，指智能体对环境动力学的一种内部表征：给定当前状态和动作，它能预测下一状态（或观测）。在基于像素的设定中，世界模型通常是一个生成式模型，负责合成动作执行后的未来画面。与只学「状态到动作」映射的策略不同，世界模型让智能体可以在不与环境交互的情况下「预演」后果，从而支持规划与反事实推理。Agima 让同一个全能模型同时承担策略与世界模型两种角色，使想象与决策共享表征，这也是它能用稀疏真实反馈完成四箱 Sokoban 的关键。

阶段二：智能体强化学习优化决策

仅有想象还不够，关键是如何用想象来指导决策。第二阶段采用智能体强化学习（RL），教模型在想象出的未来上进行推理，并把这种推理有效地用于规划。

反事实分支（counterfactual branching） 指智能体在想象空间中从同一状态出发，并行推演多个不同动作所导致的未来轨迹，再对这些「如果……会怎样」的备选未来进行比较。它不同于单条前向推演：前向思考只沿一条路径预测后续，而反事实分支要求模型保留多个平行假设并评估其后果，本质上是把树搜索的思路内化进模型。这种能力对动作不可逆的环境尤为重要——智能体必须在执行前区分哪些分支会导致不可恢复的失败，才能避免「一步错、满盘输」。

跨环境泛化：从两箱到四箱的跃升

Agima 在 Maze2D、Sokoban、Pacman 和 PushT 四个环境中进行了验证，并且能够泛化到训练中未见的更难设置。

最引人注目的数据来自 Sokoban：仅在「两箱」版本上做 SFT 训练后，Agima 在「四箱」谜题上解出了 40%——而它每五步才看到一次真实棋盘。作为对比，一个仅基于动作的规划器（action-only planner）只能解出 2%。这意味着模型在很大程度上依赖想象出的内部世界来弥补稀疏的真实反馈。

监督微调（SFT） 指在有标注或专家示范数据上，用标准的下一词元（或下一帧）预测损失继续训练预训练模型，使其习得特定任务的行为分布。在 Agima 中，SFT 阶段同时提供动作示范与对应的未来观测，让模型学会「给定状态与动作，生成结果画面」，从而把策略与世界模型统一到一个模型里。SFT 提供的是模仿性质的基线能力，模型在此阶段尚未学会权衡不同想象的优劣；这正是后续需要智能体强化学习来优化决策的原因。

强化学习后涌现的新行为

经过 RL 阶段之后，Agima 在使用想象力方面涌现出了训练中未曾显式教授的行为：

统一格式的自发形成：模型学会了 SFT 阶段从未见过的新统一格式；
按需前瞻：它学会只在必要时进行前向思考，而非无差别地展开全部推演；
关键点分支：在关键决策点上，模型会以更高的频率进行分支探索。

这些行为指向一个更有意思的结论：一个能「看到动作去向」的智能体，会自己学会在何时、何处需要向前看——也就是学会规划。

智能体强化学习（Agentic RL） 指把强化学习应用于具备多步推理与工具使用能力的智能体模型，通过与环境交互获得的回报来优化其决策序列，而不仅是单步输出。与基于人类示范的 SFT 不同，RL 允许模型探索示范之外的行为，并通过试错发现更优策略。Agima 第二阶段正是用 RL 训练模型在想象出的未来上进行推理并据此规划，这使得「何时展开想象、在哪些节点分支」这类元决策得以被回报信号塑造，进而解释了按需前瞻与关键点高频分支等涌现行为的来源。

为什么这件事重要

Agima 的价值在于把「想象」从提示词技巧或外部规划器，变成了可以通过训练获得的模型能力。对于机器人操作、游戏 AI 和任何反馈稀疏、动作不可逆的场景，这种「先模拟再执行」的范式都可能降低试错成本。项目主页已公开，地址为 agima.net，可作为进一步了解的入口。