[控场AI]
· 5 分钟阅读· 2,998 字

OuroWorld:让任意3D世界变成无限循环的动态影像

OuroWorld:让任意3D世界变成无限循环的动态影像

OuroWorld将静态3DGS场景无遮罩转化为任意视角无缝循环的动态影像。

OuroWorld是一个无遮罩框架,能把任意静态3D Gaussian Splatting场景转换为从任意视角观看都无缝循环的3D cinemagraph。其流程是用视觉语言模型推断合理动态并引导视频模型合成参考视频,再提升补全为多视角视频序列。为应对监督信号中的跨视角不一致,团队提出Inconsistency-Robust Periodic 4DGS:傅里叶级数形变场从构造上保证循环,Grounded Drift Field吸收不一致信息。方法覆盖一般形变、物体运动与光照变化,突破欧拉方法仅擅长流体运动的限制。在39个场景上全面超越基线,用户研究胜率达70.8%-99.0%。

静态的3D场景往往缺少"活"的气息。无论是3D Gaussian Splatting重建的室外街景,还是生成模型产出的室内空间,大多数成果都像是被按下了暂停键——可自由探索,却凝固在某一瞬间。最近发布的OuroWorld框架试图打破这一局限:它能把任意静态3D场景转变为一段从任何视角观看都能无缝循环的动态影像(3D cinemagraph),且无需任何遮罩标注。

OuroWorld示意

从静态GS场景到动态循环影像

OuroWorld的核心思路是用视觉语言模型(VLM)推断场景中合理的动态,再借助视频模型合成一段参考视频,随后将其"提升"并补全为多视角视频序列。整个过程不需要人工指定运动区域或流体类型,属于无遮罩(mask-free)框架。

与以往局限于流体状运动的欧拉方法不同,该方法能捕捉一般性形变、物体运动以及光照变化。这意味着树叶的摆动、窗帘的飘动、水面的波纹乃至光影的迁移,都可以在同一套框架下被建模为循环动态。

据项目页面介绍,研究团队在39个重建与生成场景上进行了测试,OuroWorld在所有基线对比中均取得领先,并在用户研究对比中拿下70.8%至99.0%的胜率。这一数据来自项目主页公布的评估结果,显示出方法在主观感知层面的明显优势。

3D Gaussian Splatting(3DGS) 是2023年提出的一种显式三维场景表示方法。它用数百万个带有位置、协方差、颜色和不透明度的三维高斯基元来刻画场景,渲染时通过可微的splatting过程把这些高斯投影到图像平面并合成像素。相比NeRF这类隐式神经场,3DGS训练与渲染速度更快,并支持实时高质量新视角合成,因此成为当前3D重建与生成领域的主流表示之一。不过,3DGS刻画的是某一时刻的静态几何与外观,本身不含时间维度,要让场景动起来,就需要在此基础上引入随时间变化的形变或额外的4D表示。OuroWorld正是以3DGS重建结果为输入起点,在其上叠加动态场来实现从静态到循环动态的转化。

3D cinemagraph 借鉴了传统cinemagraph(微动摄影)的概念:画面整体静止,只有局部区域持续运动,从而营造出凝固时间中一缕生机的观感。在三维语境下,3D cinemagraph要求在用户自由改变视角时,动态部分仍能保持一致的时空连续性,并在时间轴上首尾无缝衔接、无限循环。它与此前常见的单视角微动视频不同,因为视角变化会暴露几何与运动信息是否真正一致,对表示与合成方法提出了更高要求。

如何学习"不完美"的监督信号

真正棘手的问题在于:由视频模型合成的参考视频与多视角补全结果之间,往往存在跨视角不一致。若直接拿这种带有噪声的信号去训练4D表示,很容易导致动态模糊或循环处跳变。

为此,团队提出Inconsistency-Robust Periodic 4DGS。其中包含两个关键设计:

傅里叶级数形变场

通过傅里叶级数参数化形变场,循环性由构造本身保证——也就是说,模型输出的动态天然满足首尾相接,不需要额外施加循环约束。这对于实现"无缝循环"至关重要。

傅里叶级数形变场 的思想是把每个高斯基元的位置(或形变量)表示为时间的周期函数,通常写成若干正弦与余弦项的叠加,形如 x(t)=a₀+Σ[a_k cos(2πkt/T)+b_k sin(2πkt/T)]。由于正弦余弦本身以T为周期,当t=0与t=T时函数取值严格相等,因此循环性由数学形式天然保证,无需在损失函数中额外惩罚首尾差异。同时,不同频率分量对应不同节奏与幅度的运动,低频项刻画缓慢的整体摆动,高频项刻画细碎抖动,这种频率分解让模型能够用少量参数表达多样且连续的动态,也便于在同一场景下采样出多种运动模式。

Grounded Drift Field

该方法在参考视角处锚定一个漂移场,用以吸收跨视角的不一致性。换句话说,多视角之间的冲突被一个可学习的场"承担"下来,而不是污染整个4D表示。

这两个组件共同作用,使模型能够在并不完美的监督信号下,仍然学到连贯且多样的动态。

Grounded Drift Field(锚定漂移场) 针对的是监督信号中的跨视角不一致问题。视频模型针对某个参考视角合成的视频,乍看合理,但当它被提升到多视角并补全时,不同视角间对同一运动的预测可能互相矛盾,若直接把这种带冲突的监督用于训练4D表示,会让动态变得模糊或产生跳变。漂移场的做法是在参考视角处设置一个可学习的场,让它专门吸收这些跨视角差异:冲突信息被局部地"沉淀"在这个场里,而不是弥散到整个4D表示中。这样主形变场仍能学到干净、连贯的动态,而残余的不一致则由漂移场解释,相当于给噪声监督提供了一个缓冲层。

无真值评估:衡量生动、自然与循环质量

动态3D场景的评估一直缺少统一标准。OuroWorld引入了一套无需真值(ground-truth-free)的评估体系,覆盖四个维度:生动性(vividness)、自然性(naturalness)、循环接缝连贯性(loop seam coherence)以及场景质量(scene quality)。

这套指标的意义在于,它不依赖难以获取的真实4D数据,而是从生成结果本身出发衡量动态是否可信。对于3D cinemagraph这类主观感受占主导的任务,这种评估方式更贴近实际使用体验。

从项目页面的演示来看,同一个静态场景可以生成多种不同的动态版本——运动模式、节奏和幅度都存在差异,而非仅仅输出单一确定结果。这种多样性正是"diverse motion"所强调的部分。

与既有方法的差异

此前不少动态3D方法基于欧拉视角,擅长模拟烟雾、水流等流体状运动,但对刚体运动、非流体形变和光照变化的处理能力有限。OuroWorld选择在拉格朗日式的形变场框架下工作,并借助VLM的高层语义理解来引导运动合成,从而覆盖更广泛的动态类型。

另一个差异点在于循环机制。多数方法在训练后处理阶段尝试让首尾帧对齐,而OuroWorld把周期性直接嵌入形变场的数学形式中,从源头保证循环成立。

目前项目已公开主页(https://ouroworld.userwei.com),包含多组场景的循环动态演示、基线对比和用户研究数据。对于关注3D生成、动态场景建模和4D Gaussian Splatting的研究者与开发者,OuroWorld提供了一个值得关注的新范式:把静态世界"唤醒"为可无限循环观看的动态影像。

欧拉视角与拉格朗日视角 是描述运动的两种经典框架。欧拉方法关注固定空间位置上物理量随时间的变化,例如观察某个网格点处速度如何改变,天然适合烟雾、水流等连续介质的流动建模;拉格朗日方法则追踪每个粒子的运动轨迹,更适合描述离散对象或可形变实体的整体位移与形变。3DGS中的高斯基元本身就可视为被追踪的粒子,因此在其上叠加形变场属于拉格朗日式思路,能够自然地表达刚体运动、非流体形变和光照迁移,而不局限于流体状运动。OuroWorld选择这一框架,正是为了突破以往欧拉方法在动态类型覆盖上的局限。

#OuroWorld#3D cinemagraph#3D Gaussian Splatting#动态3D场景#4DGS#循环视频生成#视觉语言模型
分享:

相关推荐