宾大茅佳源：单次演示泛化，破解具身智能数据困局

在机械臂的实机测试中，不少团队都遇到过类似的困扰：为了让机器人学会抓取某个马克杯，往往需要人类抓着机械臂录入上百条示范轨迹。可只要把杯子换成未见过的款式，或者稍微改变摆放位置，策略的成功率就会急剧下降。这种靠海量遥操作数据硬堆技能的方式，很难让机器人真正具备应对新环境的泛化能力。

在 IROS 2026 大会上，来自 UPenn、MIT 与 Stanford 联合团队的茅佳源分享了他们的思考。她介绍了只需一次人类演示就能泛化执行多种非抓取任务的 RAPID 闭环框架，还首次提出了诊断“视觉会了、手却做不对”这一机制脱节的 TR 指标。借由基于 TR 的自适应引导机制，团队最终将双臂机器人在复杂组合任务上的真机泛化成功率提升到了 83%。

百条轨迹换一项技能：纯数据拟合的物理泛化困境

过去几年，构建通用物理智能的主流思路是“数据拟合”——通过端到端学习，实现从视觉观察到控制动作的直接映射。这条路径推动了大量研究，却在面对真实复杂的物理交互时迅速触及瓶颈。

茅佳源在演讲中引用了 Actor Labs 的挖掘机实验：团队将 Physical Intelligence 的 π0.5 部署至挖掘机，结合工业操作员的大规模真实数据训练策略。尽管展示中仅用 200 条轨迹完成了一项任务，但这恰恰暴露出纯数据驱动路线的缺点——数据效率极低，且多任务能力受限。

如果掌握每一项单一技能都需要百小时级或数百条轨迹的数据积累，这种依靠堆叠数据推动的范式，其规模化扩展的可行性显然存疑。相比之下，人类仅凭单次演示就能理解动作背后的物理逻辑，并轻松迁移至不同尺寸、材质的物体甚至全新任务中。

当端到端模型在分布外（OOD）场景中频频失灵，研究者们不得不重新审视：在盲目堆砌数据量之外，是否存在更根本的智能构建路径？这就引出了第二条路线——将智能视为世界建模与规划。

神经+符号：用可推理的世界模型替代像素级预测

要实现基于规划的智能，首先需构建“世界模型”，即让智能体在内部建立物理世界表征，并基于该表征演推后续动作。

然而物理环境极其复杂，若直接在像素级预测未来状态与细节，计算代价会非常高，难以支持长序列动作的实时规划。破解这一难题的关键在于引入组合式抽象表示。智能体无需记忆所有像素细节，而是提炼形状、姿态、材质等抽象属性，并用状态转移图显式建立“动作-状态”演变机制。这就是神经符号概念的核心：

• “神经”层：利用神经网络进行视觉感知，提取物体的几何与物理属性；
• “符号”层：利用符号逻辑对这些属性进行组合，并定义动作与状态之间的转移规则。

两者结合，智能体摆脱端到端黑盒映射，转而学习物理世界运行规律的结构化模型。有了这种抽象表示，机器人即可在执行前内部推演（如推动杯子或翻转瓶盖后的状态演变），自主规划动作序列。这正是“从单次演示中学习并强泛化”的基础。

**分布外（OOD）**指的是模型在训练数据分布之外遇到的样本。在机器人学习中，如果把训练集限定为某种材质、尺寸的杯子，那么换成玻璃杯或改变光照、遮挡时，输入就落到了训练分布之外。端到端模型在 OOD 场景下往往性能断崖式下跌，因为它学到的更多是训练集里的统计相关性，而非可迁移的物理规律。衡量 OOD 泛化能力通常要区分分布内（ID）与组合式 OOD：前者是训练时见过的物体和任务组合，后者是未见过的物体、目标或原语的重新组合。正是 OOD 性能的巨大落差，促使研究者转向世界模型与结构化表示。

从策略网络到约束求解：动作生成为何不可拼接

具备可组合的世界模型后，下一个问题是：如何将高层逻辑规划转化为物理世界中可执行的具体动作？

传统强化学习与端到端范式中，策略网络（π）普遍无法直接拼接。例如分别训练抓取（π1）、移动（π2）、放置（π3）三个网络，因观测空间、动作空间及中间状态难以对齐，极难直接串联完成长序列任务。

针对策略不可组合的困境，替代方案并非训练更大的端到端网络，而是将动作生成重新定义为约束优化问题。在此框架下，智能体需在给定初始状态 s0 下，求解使动作代价（如轨迹长度）最小化的轨迹，同时满足两类关键约束：

• 路径约束：包含动力学约束与无碰撞约束，轨迹必须符合物理定律且机器人与环境无干涉；
• 子目标约束：包含阶段性接触目标（如稳妥抓取物体）与最终任务目标（如将物体精准放置至指定架子）。

这种设计将学习显式解耦为约束集与约束值两个层面。机器人无需从零学习物理法则（交由已知物理模型与优化求解器处理），神经网络只需聚焦与任务相关的关键约束，大幅减轻数据负担。

以团队 MAGIC 项目中的“物品悬挂”任务为例，这类操作需要同时兼顾抓取、悬挂姿态与运动轨迹三重联合约束。传统模型规划因搜索空间过大，单次求解动辄超过 5 分钟；而基于无监督特征学习与策略学习的代表性方法，哪怕在 10 万个合成水杯数据上训练，单次演示泛化成功率也仅有 42%。相比之下，该框架通过视觉对应关系引导约束优化，仅凭单次演示就将成功率提升到了 93%。

**无分类器引导（CFG）**最初来自扩散生成模型，做法是在采样时同时计算有条件与无条件预测，再用一个权重 w 放大两者之差，从而增强生成结果对条件（如文本提示）的服从度：ε = ε_uncond + w·(ε_cond − ε_uncond)。w 越大，生成越贴合条件，但过大时容易过饱和、失真。在视频-动作模型中，CFG 被迁移为对动作生成的引导，用于强化动作对未来视觉规划的参考。传统做法使用固定权重，对所有去噪步骤一视同仁，因此被称为“平坦引导”。它在提升 OOD 泛化的同时，常常以牺牲 ID 性能为代价，因为并非每个时刻都需要同等强度的引导。

RAPID 架构：1 次人类演示 + 代码智能体搞定非抓取交互

如果将上述“约束+接触序列”的思路进一步推演，就能构建出面向更复杂物理交互的通用架构：RAPID。在 RAPID 架构中，技能学习被转化为由编程智能体与物理校验器构成的闭环编程循环：

1. 演示解析与原语拆解：从单次演示中提取动作，自动切分为推、翻转、支点旋转、抓取等基础操作原语；
2. 以物体为中心的程序生成：Coding Agent 将原语转化为以物体为中心的约束程序，脱离特定的几何参数，使其天然具备可复用性与组合性；
3. 仿真校验与闭环迭代：校验器在 Real2Sim 仿真环境中验证程序，将碰撞、物理可行性等反馈传给 Coding Agent 进行修正，可在部署前筛除大量物理不可行程序。

在涵盖书架、隔板等场景的 8 个复杂非抓取真机任务中（灵活组合了推、翻、压移、支点、倾倒、抓取等原语），RAPID 仅凭单次人类演示，便展现出极高的鲁棒性与泛化求解能力。这说明，将 Coding Agent 的代码生成能力与物理模型校验相结合，能以符号化约束优化实现强泛化的单示例学习。

大模型盲区：视频-动作模型为何无法自动“涌现”组合力

RAPID 本身是一个模块化系统，其能力来自 Coding Agent 与不同功能模块之间的协作。这说明组合性不仅体现在运动技能的组合上，也体现在系统如何组织和调用不同的能力模块。但模块化系统各模块之间受限的信息流动，使其难以充分吸收不同任务之间的协同效应。

这就引发了一个更深度的思考：神经网络能否直接将感知、记忆、规划与控制融为一体？如果放弃人工预定义的原语与模块划分，转向端到端统一的多模态大模型，将包含丰富物理规律的视频预测与动作生成联合训练，组合能力能否在模型中自动“涌现”？围绕这一课题，团队展开了两次尝试。

试错一：视觉预测转动作指令，难以胜任富接触操作

第一次尝试利用通用的视频生成模型预测未来画面，再将视觉预测翻译为机器人的具体动作。这一路线对应团队发表于 ICLR 2024 (Spotlight) 的 AVDC 框架，其动作提取流程分为视频预测、稠密运动估计、笛卡尔控制映射三个阶段。

该架构最大的优势在于摆脱了对显式动作标签的依赖，模型可以直接利用无动作标签的视频数据进行预训练。同时，由于它提取的是物体本身的三维运动而非特定机械臂的关节点位，因而具备出色的跨本体泛化能力。

然而真机测试揭示了这一解耦范式的明显局限：它主要支持基础的抓取、移动与放置技能。面对翻转、按压、支点旋转等复杂的富接触操作，单纯依靠像素层面的视频预测，难以捕捉真实的物理受力与精准的接触作用点。必须打破解耦，将视频预测与动作生成深度结合进行联合训练。

试错二：看懂了未来画面，Action Head 却还在“盲开”

第二次尝试构建视频-动作联合模型，让负责动作生成的网络能够直接“看到”并利用视频模型对未来的物理预测。团队采用预训练视频预测模型 Cosmos Predict 2.5-2B 作为骨干网络，在视频生成的去噪过程中提取中间潜特征，与机器人本体状态以及含噪动作 Token 一同送入 Gemma Action Head，最终通过 Flow Matching 联合生成去噪后的动作控制 Token。

然而实机与仿真实验给出了出乎意料的结论：统一的视频-动作联合模型，并不会自动“涌现”出组合泛化能力。团队观察到两个棘手问题：一是视觉能泛化、执行却失效，视频预测模型面对未见过的指令能生成合理未来帧，但一旦接入 Action Head 驱动机械臂实际执行，策略在组合式分布外任务上的成功率便急剧下跌；二是极高的超参数敏感度，例如 LoRA 联合训练能在 ID 与组合 OOD 之间达成某种权衡，而全参数微调则更容易偏向 ID 性能，牺牲泛化。

深入分析“泛化鸿沟”后，团队发现 Action Head 在生成控制动作时，常常倾向于直接“忽略”视频模型预测出的未来特征。在对比实验中，哪怕视频模型预测出了完全错误的未来画面，Action Head 依然可能偶然完成动作；反之，当视频模型生成了完美正确的未来画面时，Action Head 却反而给出了错误的动作控制。这证实了动作生成与未来预测之间存在严重的“机制脱节”。

**LoRA（Low-Rank Adaptation）**是一种参数高效微调方法，它冻结预训练主干网络，只在部分权重旁注入低秩分解矩阵 A、B，训练时仅更新这些小矩阵。这样可训练参数量大幅减少，既节省显存，也降低了在小规模机器人数据上过拟合的风险。相比之下，全参数微调会更新主干的所有权重，拟合能力更强，却更容易偏向训练分布内（ID）的数据，牺牲组合式泛化。这也解释了团队观察到的现象：LoRA 联合训练能在 ID 与组合 OOD 之间取得某种平衡，而全参数微调则更倾向于追高 ID 性能，代价是 OOD 成功率下降。

TR 指标与自适应引导：将真机泛化成功率提升至 83%

为了精准量化 Action Head 在决策时到底有多依赖视频模型的未来预测，研究团队提出了一个直观的诊断指标：时间比率（Temporal Ratio，TR），即未来帧的注意力权重除以当前帧的注意力权重。

该指标直接反映了动作头的决策偏好。TR 越高，说明 Action Head 越认真地“看”视频模型预测出的未来画面并据此导向动作；TR 越低，则说明动作头几乎在“盲开”。通过分析不同模型与超参数配置下的 TR 曲线，团队发现峰值 TR 精准预测了模型的组合泛化能力——TR 越高的模型，其在分布外任务上的成功率就越强；而那些 TR 极低的模型，泛化成功率几乎为零。

找到了“机制脱节”的病灶后，团队提出了一种无需重新训练模型即可弥合泛化鸿沟的方案：自适应引导。团队将无分类器引导（CFG）拓展为语言引导与计划引导两个维度。与固定权重的传统引导不同，自适应引导会实时监测 TR 指标：当检测到 TR 出现峰值、动作头正积极参考未来规划时，系统会自动调大计划与语言引导的权重，强化未来物理约束；而在 TR 处于低位的平稳阶段则不叠加额外引导。

这种“在关键决策点精准发力”的机制，既避免了过度引导对分布内（ID）性能的损伤，又大幅提升了模型在空间、物体和目标分布外（OOD）任务上的组合泛化能力。在 LIBERO 仿真基准上，传统的“平坦引导”虽能提升 OOD 成功率，却会严重损害 ID 性能；而自适应引导通过 TR 的动态调节，实现了更好的 ID 与 OOD 性能权衡。

在搭载双臂机器人的真实物理环境中，团队评估了 8 项复杂任务，涵盖从纸袋中取出瓶子、整理零食到货架、折叠 T 恤等。在未见过的组合式分布外任务（如“把水果放进纸袋”）中，对比模型 Cosmos-Policy 的平均成功率仅约 12%，而团队自己的模型在未引导前平均成功率为 71.8%，引入基于 TR 的自适应引导后，真机泛化成功率进一步提升至 83%。

注意力权重是 Transformer 中衡量查询与键相关程度的归一化数值。在视频-动作模型中，Action Head 生成动作 Token 时会对视频模型产生的中间潜特征分配注意力：当前帧特征与未来帧特征各自获得一定权重。把未来帧权重除以当前帧权重，就得到 TR。TR 高意味着动作头在决策时把更多注意力放在模型预测的未来画面上，动作更可能顺应物理规划；TR 低则说明动作头几乎只看当前观测，未来预测被忽略。TR 因此成为一个无需额外标签、仅靠前向推理即可观测的“机制耦合度”诊断器，为自适应引导提供了实时的触发信号。

结语：核心不在于盲目堆叠数据

视频预测与动作控制之间的协同效应，并不会在联合训练中自动“涌现”出来。不同的模型架构与训练配方会带来不同水平的组合泛化能力，且往往伴随着分布内与分布外性能之间的权衡。TR 提供了一个精准的诊断工具，但要真正弥合泛化鸿沟，必须重新审视“组合性”本身——从架构、优化目标到数据定义的根本层面进行重构。

回到最本质的范式选择上，模块化系统依然非常强大：它天生具备显式的结构化组合性、较高的数据效率，以及对实时机器人系统至关重要的异步控制能力，但局限在于无法充分吸收不同任务之间的深层协同效应。如何将模块化系统“强组合性与高数据效率”的优势，与统一大模型“全局吸收协同”的潜力有机结合，是接下来最核心的研究方向。