英伟达新研究：视频与3D动作联合生成，任意骨架都能动

视频生成模型已经能描绘出相当逼真的运动画面——猴子跃过横杆、机器人穿过走廊、舞者旋转跳跃。但一个根本性的问题始终悬而未决：这些运动只存在于像素里。你无法把视频中的跳跃提取出来，绑定到一个具体的3D模型上，再放回3D场景中回放。英伟达PAR实验室的最新研究试图打破这层壁垒。

像素之外：视频运动为何难以复用

当前的视频生成模型在运动表现力上已经足够惊艳，但它们输出的本质是二维图像序列。如果想把视频中的动作迁移到3D资产上，传统做法要么依赖人体骨骼专用的动作捕捉管线，要么从生成的2D姿态图中三角化出3D运动。前者泛化能力有限，后者在遮挡和深度歧义面前非常脆弱。

英伟达团队在论文中给出了一个更直接的方案：让模型同时生成视频和3D动作，并且针对任意给定的骨架（rig）工作，同时输出一个相机参数，把动作配准到场景中。换句话说，模型不仅告诉你“发生了什么”，还告诉你“在3D空间的哪个位置发生”。

什么是“骨架”（rig）：在3D动画与图形学中，rig指的是绑定在3D模型上的一套骨骼层级结构，包括关节（joint）及其连接关系、旋转轴与蒙皮权重。动画师通过旋转和移动这些关节来驱动模型运动，就像操控木偶的骨架一样。不同角色（人、机器人、动物）的rig在关节数量、拓扑结构和命名上差异巨大，这正是“任意骨架”成为一个技术难点的原因——模型不能假设固定的骨骼模板，而必须学会把文本或视频中的运动映射到任意给定的关节集合上。

分离式架构：让动作模型专注学动作

这项工作的核心设计选择是将3D运动生成与视频生成解耦。据论文描述，此前一些视频-动作联合模型仅支持人体骨架，却为此增加了数十亿参数；而英伟达的方案保持3D运动在一个独立模型中，支持任意骨架结构，再通过少量交叉注意力层将其连接到预训练视频模型上。

这种分离带来一个实际好处：动作模型可以先用纯动作数据学习骨架如何运动，而这类数据比配对的视频-动作数据更容易获取和增强。视频模型则负责它擅长的视觉合成。两者通过交叉注意力桥接，而不是强行揉进一个庞大网络。

关节定位与相机恢复

模型还学会了在视频帧中定位每个关节的位置。这个能力看似辅助，实则是把3D运动放回场景的关键——有了关节在画面中的位置，就能反推出相机参数，进而完成3D动作与场景的配准。论文强调，这让生成的运动“响应周围场景”，而非悬浮在真空中的孤立动作。

交叉注意力（cross-attention）：交叉注意力是Transformer中的一种机制，让一个序列（如视频模型的中间特征）去“查询”另一个序列（如3D动作模型的隐藏状态）的信息。在本文的架构中，视频分支的特征作为query，动作分支的特征作为key和value，从而在两者之间传递信息，使视频生成能够感知正在发生的3D运动，反之亦然。相比把两个模型合并成一个大网络，仅插入少量交叉注意力层的做法参数量开销小、训练更稳定，还能保留各自预训练模型的能力。

相机参数与场景配准：要从2D画面中恢复3D信息，必须知道拍摄该画面的相机内参（焦距、主点）和外参（旋转、平移）。模型在生成视频的同时预测每个关节在画面中的像素位置，相当于提供了2D-3D对应点，进而可以通过几何求解（如PnP算法）反推出相机参数。有了相机参数，生成的动作就能与视频背景所在的3D坐标系对齐，使后续在游戏引擎或仿真环境中回放时，动作与场景的相对位置保持一致，而不是随意悬浮。

用生成式视频编辑器造训练数据

训练一个支持多种骨架的模型，难点在于数据。人体视频容易找，机器人和各种非人骨架的配对视频-动作数据却稀缺。研究团队的做法颇具巧思：使用生成式视频编辑器，把动画化的3D资产放置到与其动作匹配的场景中，并筛选编辑结果，确保已知的运动仍然有效。

结合人体和机器人视频，这套流程最终产出了近20万对训练数据。这个数字在视频-动作联合生成领域相当可观，也解释了模型为何能覆盖多样化的骨架类型。

实测表现：多骨架动画更忠实于文本

评估结果显示，该模型从文本动画化多样骨架的忠实度优于“视频优先”的管线，生成的运动也能对周围场景做出响应。更值得关注的是它的多功能性——同一套模型可以完成多个方向的转换：

• 视频转骨架运动：从视频中提取可回放的3D动作
• 骨架运动转视频：给定动作生成对应的视觉画面
• 关键帧控制3D运动：用关键帧方式操控生成的动作

这种双向能力意味着它不只是一个生成工具，也可以作为3D动画工作流中的转换层。对于需要把视频素材转化为可编辑3D动画的创作者来说，这个方向值得持续关注。

对3D内容创作流程的潜在影响

这项研究触及的是视频生成与3D资产管线之间的断层。目前，视频模型产出的内容要进入游戏引擎、影视预演或机器人仿真，往往需要大量手工重定向和清理。一个能直接输出可回放3D运动并完成场景配准的模型，理论上可以压缩这条链路上的摩擦。

当然，论文目前展示的是研究阶段的成果，泛化到复杂场景、多物体交互和长时序动作时的表现还有待进一步验证。但“分离动作模型与视频模型、用交叉注意力桥接”这一架构思路，对于后续的任意骨架动作生成研究具有参考价值。项目页面已公开视频和补充结果，感兴趣的读者可以直接查看实际效果。