Ψ-0.6:统一视觉语言世界模型的自适应思维流

Ψ-0.6 让模型用文字、深度、位姿等多种表征推理,并用强化学习自适应选择。
来自 NeuroAI Lab 的 Ψ-0.6 试图突破思维链只能用语言思考的局限,把推理媒介扩展到文字、深度图、运动信息、相机位姿和想象生成的场景画面五种表征。模型通过强化学习习得调度策略,能根据任务性质判断该走语言推理还是空间表征推理,而非依赖硬编码的融合架构。评测显示其在 MindCube 零样本空间推理上超过领先开源模型,在 FlowBench 物体运动预测上优于其他世界模型,并能从仿真房间迁移到真实机器人桌面操作。该模型同时承担感知器、VLM、世界模型、推理器和策略网络五种角色,作者称之为"自适应思维流",为具身智能提供了语言之外的新推理范式。
思维链(Chain-of-Thought)让大模型的推理能力上了一个台阶,但它有个根本局限:只能用语言思考。面对物理世界时,语言描述往往力不从心——你说得清"杯子在桌沿",却很难用文字精确表达它的深度、朝向和即将掉落的方向。
来自 NeuroAI Lab 的研究团队发布了 Ψ-0.6,试图回答一个更本质的问题:物理世界的"思维链"应该长什么样?他们的答案是——让模型用多种表征同时思考,并且自己学会什么时候该用哪一种。

一条模型,五种"思维语言"
Ψ-0.6 的核心设计是把推理从单一语言模态扩展到多种表征形式的组合。模型可以在推理过程中调用文字、深度图、运动信息、相机位姿以及想象生成的场景画面。这与传统 VLM 的"看图说话"有本质区别:后者把视觉当作输入、语言当作输出,而 Ψ-0.6 把视觉相关表征本身当作推理的中间步骤。
换句话说,当被问及一个空间关系复杂的问题时,模型可能不再只是"读"出图片内容然后组织语言回答,而是在内部构建一个带有深度和视角信息的场景表征,再用这个表征去推演答案。这种"在想象中操作物体"的能力,是语言模态难以替代的。
视觉语言模型(VLM) 是理解本文设计初衷的关键背景。VLM 通常由视觉编码器(如 ViT)和语言模型两部分组成,视觉编码器把图像压缩成一组特征向量,再通过投影层映射到语言模型的输入空间,模型随后以自回归方式生成文本。这种架构的局限在于视觉信息只在输入阶段被使用一次,推理过程完全发生在语言空间中。Ψ-0.6 的思路与此不同:它把深度图、相机位姿等结构化表征作为推理链条中的中间产物反复调用,相当于让视觉表征参与"思考"而非仅作为"题目"。这一转变要求模型具备生成和解析多种模态输出的能力,也对训练数据的组织方式提出了新要求。
相机位姿(camera pose) 指相机在三维空间中的位置与朝向,通常用平移向量和旋转矩阵(或四元数)表示,共六个自由度。它是连接二维图像与三维世界的关键量:同一物体在不同位姿下成像差异巨大,只有知道拍摄时的位姿,模型才能把像素反投影到统一的三维坐标系中,进而判断物体之间的真实距离和相对方位。在机器人操作场景中,位姿估计直接决定了抓取点是否准确。把相机位姿纳入推理链,意味着模型可以在内部重建"从哪个角度看、看到什么"的对应关系,从而处理视角变化带来的空间歧义。
自适应选择:RL 教会模型何时用哪种思维
多模态推理的真正难点不在于"能不能用",而在于"该不该用"。对某些问题,语言推理又快又准;对另一些,必须借助空间表征。Ψ-0.6 通过强化学习来习得这种调度策略——模型在训练中学会判断当前任务适合走哪条推理路径。
这是该工作最有价值的部分之一。多数多模态模型采用固定的融合架构,推理路径是硬编码的;而 Ψ-0.6 把"选择表征"本身变成了可学习的决策,模型因此获得了在效率与准确性之间权衡的能力。
强化学习(RL)训练大模型 与监督微调的区别值得说明。监督微调让模型模仿给定答案,而强化学习只给出奖励信号,由模型自行探索哪些输出能获得更高回报。在 Ψ-0.6 的场景中,奖励来自最终答案的正确性,模型因此需要自己发现"这类问题用深度表征更有效"这类策略性知识。常用的算法包括 PPO、GRPO 等,它们通过采样多条推理路径、比较其回报来更新策略。这种范式的优势是能习得难以用标注数据直接表达的调度策略,代价是训练不稳定、对奖励设计敏感,且容易出现过拟合特定基准的风险。
实测表现:空间推理与世界预测
据作者公布的评测结果,Ψ-0.6 在 MindCube 这一复杂空间推理基准上以零样本方式超过了领先的开源权重模型。在 FlowBench 上,它在预测物体运动方面优于其他世界模型。这两项测试分别对应"理解静态空间关系"和"推演动态物理过程",恰好覆盖了物理世界推理的两个关键维度。
更值得关注的是迁移能力。模型在仿真房间数据上训练,却能迁移到真实机器人的桌面操作场景。这说明模型学到的不是仿真环境的特定纹理或统计规律,而是某种更通用的空间与物理表征。
世界模型(world model) 是近年具身智能领域的核心概念,指能够预测环境未来状态的模型,即给定当前观测和动作,推断下一刻的观测或状态变化。它与传统视频预测的区别在于强调对物理规律的建模而非像素级拟合。世界模型的价值在于让智能体在"想象"中试错,从而减少真实环境中的交互成本,这也是模型化强化学习(model-based RL)的基础。本文所称"预测物体运动"正是世界模型的基础能力,而能否泛化到未见过的场景,是判断其是否学到真实物理规律而非数据表面统计的关键标准。
一个模型,五个角色
Ψ-0.6 的定位相当激进:同一个模型同时充当感知器、视觉语言模型、世界模型、推理器和策略网络。这种"全栈"设计在工程上有明显优势——避免了多模块串联时的接口损耗和信息丢失,也让端到端训练成为可能。
当然,这也带来疑问:单一模型承担如此多的职责,会不会在每个角色上都不够专精?作者给出的证据是在多个基准上均有竞争力,但不同能力之间的相互制约关系,仍需要更细粒度的消融实验来验证。
物理世界推理的新范式?
Ψ-0.6 提出的"自适应思维流"概念,指向了一个可能的方向:未来的具身智能模型不再把语言当作唯一的推理媒介,而是根据任务性质在多种表征之间动态切换。这对机器人操作、自动驾驶、AR 交互等需要精确空间理解的场景尤其重要。
不过也需要冷静看待。当前公开的信息以作者自述的评测为主,第三方复现和更广泛的基准对比尚待补充。多模态推理路径的可解释性同样是开放问题——当模型选择用深度表征而非语言来推理时,人类更难追踪它的决策依据。
论文、代码和项目主页均已公开,这套方案能否被社区验证并推广,值得持续观察。
相关推荐

Ollama本地部署指南:零基础跑通开源大模型
Ollama本地部署教程:介绍Ollama是什么、为什么选择它,以及如何下载安装、运行开源大模型,并利用API进行个性化开发,适合零基础用户。

n8n:GitHub 187K星的开源自动化神器,把重复工作变工作流
n8n 是一款 GitHub 187K 星的开源可视化工作流自动化引擎,支持 400+ 节点、Webhook/定时/轮询触发,可自托管保障数据安全,还能接入 AI Agent 打造 AI 工作流。本文介绍其核心概念、典型场景与避坑指南。

n8n自托管实战:Docker+PostgreSQL+Caddy部署指南
手把手教你用 Docker Compose 部署 n8n 自托管实例,搭配 PostgreSQL 和 Caddy 自动 HTTPS,含环境变量避坑、网站巡检飞书告警流程、备份升级回滚要点。