DreamX:将视频扩散模型变为通用潜在动作学习器

DreamX 复用视频扩散模型时空特征,提取300倍压缩的跨本体潜在动作表示。
DreamX 提出一种从预训练视频扩散模型中提取通用动作表示的方法。针对现有潜在动作模型将动作与外观视觉变化纠缠、跨本体迁移受限的问题,DreamX 从视频模型的时空特征中提取紧凑潜在动作,将每个潜在视频帧从 1,200 个 token 压缩至 4 个 token(300 倍),迫使模型只保留动作关键信息,并借助生成先验实现动作与外观解耦。由此得到的潜在空间可作为跨本体、跨环境、跨动作参数化的共享动作接口。在 LARY-Bench 上它取得潜在动作模型中的最先进性能,并支持任意到任意的视频迁移与零样本动作迁移,还降低了基于视频扩散模型的策略学习计算成本,为统一人类演示与机器人执行提供了轻量化路径。
视频扩散模型通常被用来生成逼真画面,但一项新研究正试图让它们学会理解动作。DreamX 通过复用预训练视频扩散模型的时空特征,从中提取紧凑的潜在动作表示,构建出一个跨本体、跨环境的共享动作接口。
动作表示的核心难题
从视频中学习通用的动作表示,需要模型捕捉到同一动作在不同执行方式下保持一致性的动态,同时忽略本体形态和外观的变化。现有潜在动作模型虽然能从视觉过渡中推断动作,但它们的表示往往将底层动作与无关的视觉变化纠缠在一起,导致跨本体迁移能力受限。
DreamX 的出发点正是解决这种纠缠问题。它不依赖额外的动作标注,而是直接从视频扩散模型内部挖掘动作相关的动态信息。

核心技术:300倍压缩与生成先验
DreamX 的关键设计在于两处。第一,它从视频模型丰富的时空特征中提取紧凑的潜在动作,将每个潜在视频帧压缩 300 倍(从 1,200 个 token 降至 4 个 token)。这种极端压缩迫使模型只保留对动作最关键的信息,过滤掉外观细节。
第二,借助视频模型本身的生成先验,这些潜在动作能够捕捉与动作相关的动态,并与视觉外观解耦。换句话说,模型学到的不是「画面长什么样」,而是「动作如何改变画面」。
这种解耦带来的直接结果是,得到的潜在空间可以作为跨本体(人类与机器人)、跨环境和跨动作参数化的共享动作接口。
性能表现与迁移能力
在 LARY-Bench 基准上,DreamX 在潜在动作模型中取得了最先进的性能。更值得关注的是其迁移能力:在一个设定中编码的动作,在另一个设定中依然有效。
该潜在空间支持任意到任意的视频迁移,以及跨多种本体和环境的零样本动作迁移。这意味着,人类视频中学到的动作表示可以直接用于机器人策略,而无需针对机器人本体重新训练动作编码器。
此外,这个共享接口还使得在紧凑的潜在动作空间中进行策略学习成为可能,从而降低了基于视频扩散模型的策略的计算成本。
LARY-Bench 是用于评测潜在动作表示质量的基准,核心思路是考察学到的动作潜变量在下游任务中的可用性,例如动作识别、跨视频的动作对齐以及基于潜动作的条件生成。它通常以「动作是否被正确编码、能否跨样本复用」为评价维度,而非单纯看重建像素的相似度。因此在该基准上取得最先进性能,意味着 DreamX 的潜空间不仅压缩率高,还保留了语义上可迁移的动作信息。
零样本动作迁移指模型在没有见过目标本体或目标环境任何演示数据的情况下,直接把源域(如人类视频)学到的动作表示用于目标域(如机器人)执行。其可行性取决于动作表示是否与本体形态解耦——若表示中混入了手臂长度、关节构型等本体特有信息,迁移就会失败。DreamX 通过共享潜在动作接口实现这一点,本质上是用一个与执行者无关的「动作语义空间」充当中间语言。
对具身智能的意义
DreamX 的思路揭示了一个趋势:视频生成模型的价值可能不止于生成内容本身。其内部特征已经隐含了对物理动态的理解,关键在于如何以正确的约束(如极端压缩和生成先验)将这些特征提炼为可复用的动作表示。
跨本体的零样本动作迁移一直是具身智能领域的难点。DreamX 提供的共享潜在动作空间,为统一人类演示与机器人执行提供了一种轻量化的路径,也为后续在紧凑空间中进行高效策略学习打下了基础。
背景补充
视频扩散模型(Video Diffusion Models)是一类通过在时空维度上迭代去噪来生成视频的生成模型,典型代表如 Sora 背后的架构思路。与图像扩散模型相比,它额外建模帧间的时间依赖,因此其内部特征天然编码了物体如何随时间运动、形变与交互的信息。这类模型通常在大量互联网视频上预训练,特征空间蕴含丰富的物理动态先验。DreamX 的洞见正在于:与其从头训练动作编码器,不如把这种已隐含动态理解的生成模型当作特征提取器,从中「读」出动作表示。
潜在动作模型(Latent Action Model)指不依赖显式动作标签、而是从观测到的视觉过渡(前后帧变化)中反推动作的模型。常见做法是用编码器把帧间差异压缩为一个低维向量,再要求解码器据此重建未来帧。其难点在于视觉过渡同时包含动作与外观变化(光照、纹理、视角),若不加约束,潜变量会把二者混在一起,导致换一个本体或环境后表示失效。DreamX 用极端压缩与生成先验来施加约束,正是为了缓解这种纠缠。
相关推荐

Gemini 4 Neon评测:跑分比肩Carbon,API定价与额度解析
Google Gemini 4 Neon正式上线,跑分紧咬Carbon,API定价3/15为Hydrogen两倍。本文汇总B站UP主实测:Neon可平替90% Carbon场景,AntiGravity中额度消耗仅为Carbon三分之一,并解析订阅渠道限制与2API封号风险。

Gemini 4 Helium或将至?Google订阅限制松绑信号
Google团队成员预告发布将继续,社区推测Gemini 4 Helium(Flash Lite)或成下一款模型;订阅封禁争议获回应,产品负责人以「Soon」暗示可能开放限制。本文梳理Gemini动向、OpenAI Coding Agent与风险管理、豆包实时音视频API及算力商业动态。

AI辅助React开发实战:视频应用优化与错误处理
14年经验开发者演示如何用AI辅助优化React视频应用:通过ImageKit将视频从80MB压缩至5MB(约94%),并实现可靠的错误处理与重试机制。包含与AI协作的规划、代码理解和验证方法。