NVIDIA Cosmos Lab 谈开放模型与物理 AI 的未来

AI 正从云端走向机器人、车辆和其他物理系统。当模型需要理解重力、摩擦、碰撞这些真实世界的规则时，纯文本训练已经不够用了。在最近一期 Practical AI 播客中，主持人 Daniel Whitenack 和 Chris Benson 与 NVIDIA Cosmos Lab 副总裁 Ming-Yu Liu 展开对话，讨论开放模型、世界模型，以及物理 AI 系统要真正落地还需要什么。

为什么开放模型对物理 AI 格外重要

Ming-Yu Liu 在对话中反复强调一个观点：物理 AI 的创新门槛比云端 AI 更高。训练一个能操控机械臂或自动驾驶的模型，需要大量传感器数据、仿真环境和硬件在环测试，这些资源不是每个团队都能负担的。

开放模型在这里扮演了基础设施的角色。它让中小型研究团队和初创公司不必从零搭建基础模型，而是可以在已有的权重和架构上做微调，针对具体场景优化。这种模式在语言模型领域已经得到验证——开源社区围绕 Llama、Mistral 等模型形成了活跃的生态——Liu 认为物理 AI 会走类似的路，但节奏会更慢，因为物理世界的验证成本远高于跑一个 benchmark。

NVIDIA 自家的 Cosmos 平台就是这个思路的产物。它提供面向物理 AI 的世界基础模型，目标不是直接卖给终端用户，而是让开发者拿来构建自己的系统。

世界模型：让 AI 理解物理世界的“常识”

对话中另一个核心概念是世界模型（World Model）。和语言模型预测下一个 token 类似，世界模型预测的是物理世界接下来会发生什么——一个杯子被推下桌子会怎么掉落，一辆车在湿滑路面上急刹车会滑多远。

Liu 解释说，世界模型的价值在于它提供了一种可学习的物理直觉。传统的机器人控制依赖精确的物理引擎和手工建模，但真实世界的复杂度和噪声远超任何仿真器能覆盖的范围。世界模型通过学习大量视频和传感器数据，能够以数据驱动的方式捕捉这些难以显式建模的规律。

这对仿真到现实的迁移（sim-to-real transfer）尤其关键。如果世界模型足够准确，开发者可以在虚拟环境中训练策略，再部署到真实硬件上，大幅降低试错成本。

什么是 sim-to-real transfer

仿真到现实的迁移（sim-to-real transfer）是机器人学习中的核心难题：在仿真器中训练的策略，部署到真实硬件时往往因为物理参数偏差、传感器噪声、视觉纹理差异等因素而失效。常见的应对手段包括域随机化（在训练时随机化重力、摩擦系数、光照等参数，让策略对变化鲁棒）和域自适应（用少量真实数据对齐仿真与真实分布）。世界模型提供了一条新路径：它不再依赖人工调参的物理引擎，而是直接从真实视频中学习动态规律，生成更接近真实分布的训练信号，从而缩小仿真与真实之间的鸿沟。

物理 AI 的能力阶梯与瓶颈

当话题转向“构建越来越强的物理 AI 系统需要什么”时，Liu 提到了几个层次的能力递进：从单步感知（识别物体、估计位姿），到短程规划（抓取、避障），再到长程任务执行（多步骤装配、导航）。每一层的难度不是线性增长，而是需要模型在时间尺度和抽象层次上同时扩展。

当前的瓶颈集中在数据而非算力。互联网上有海量文本和图像，但带物理标注的交互数据极其稀缺。Liu 认为，合成数据和世界模型生成的数据会在未来扮演越来越重要的角色，但如何保证合成数据的物理真实性和多样性，仍然是一个开放问题。

另一个被提及的挑战是推理效率。物理系统对延迟极其敏感——一辆自动驾驶汽车不可能等云端返回结果再做决策。这意味着物理 AI 的推理必须能在边缘设备上高效运行，对模型压缩和硬件协同设计提出了不同于云端 AI 的要求。

物理 AI 的推理为什么必须跑在边缘

物理系统对延迟的容忍度以毫秒计。机械臂的力控回路通常需要 1kHz 级别的更新频率，自动驾驶的感知-决策-控制闭环也要求在几十毫秒内完成。若把推理放到云端，网络往返本身就消耗数十到数百毫秒，且连接可靠性无法保证。因此物理 AI 的模型必须具备边缘部署能力，这直接催生了对量化、剪枝、知识蒸馏等模型压缩技术的需求，也推动 GPU、NPU 等硬件在算力密度和功耗上的协同设计。云端 AI 常见的“大模型+API 调用”范式，在物理场景中基本不成立。

开放生态能否复制语言模型的成功

Liu 对开放模型在物理 AI 领域的前景持谨慎乐观态度。乐观的一面是，NVIDIA 通过 Cosmos 等项目在推动基础模型的开放，研究社区也在共享数据集和仿真环境。谨慎的一面是，物理 AI 的碎片化程度远高于语言——不同机器人构型、不同传感器配置、不同任务场景，都可能导致模型难以通用。

这意味着物理 AI 的开放生态可能不会像语言模型那样出现少数几个“大一统”的基础模型，而更可能是若干针对特定领域（如室内机器人、自动驾驶、工业操作）的开放模型并存。对开发者来说，选择哪个开放模型作为起点，本身就是一个需要判断的战略决策。

完整对话可在 Practical AI 播客中收听。

世界基础模型与普通基础模型的区别

世界基础模型（World Foundation Model）是一类专门针对物理世界动态建模的大型生成模型，典型代表包括 NVIDIA Cosmos、Google 的 Genie 系列等。它与语言基础模型的区别在于：输入输出是视频、深度图、点云等多模态物理信号，而非纯文本 token；训练目标不是预测下一个词，而是预测场景在时间上的演化；评估标准也不是困惑度或 benchmark 分数，而是生成内容在物理上是否合理、能否有效支撑下游策略学习。这类模型通常需要数千小时以上的驾驶、机器人操作视频进行预训练，参数量可达数十亿，训练成本远超多数研究团队的能力范围，这也正是“开放权重”对其生态至关重要的原因。