OuroWorld
一种无遮罩(mask-free)框架,可将任意静态3D场景(如3DGS重建结果)转换为从任意视角观看都能无缝循环的动态影像(3D cinemagraph),通过VLM推断动态并借助视频模型合成参考视频,再用鲁棒周期4DGS提升为多视角视频序列
时间轴 (近 90 天)
OuroWorld是一个无遮罩(mask-free)框架,能够将任意静态3D场景转变为从任何视角观看都能无缝循环的动态影像(3D cinemagraph)。
OuroWorld的核心方法是使用视觉语言模型(VLM)推断场景动态,借助视频模型合成参考视频,再将其提升并补全为多视角视频序列。
研究团队在39个重建与生成场景上测试了OuroWorld,在所有基线对比中均取得领先,并在用户研究对比中拿下70.8%至99.0%的胜率。
OuroWorld提出Inconsistency-Robust Periodic 4DGS,包含傅里叶级数形变场和Grounded Drift Field两个关键组件,以从不完美监督信号中学习动态。
OuroWorld引入了一套无需真值的评估体系,覆盖生动性、自然性、循环接缝连贯性和场景质量四个维度。
OuroWorld采用拉格朗日式形变场框架,而非以往基于欧拉视角的方法,并结合VLM高层语义理解引导运动合成,覆盖更广泛的动态类型(包括刚体运动、非流体形变和光照变化)。
多数动态3D方法在训练后处理阶段尝试让首尾帧对齐实现循环,而OuroWorld把周期性直接嵌入形变场的数学形式中,从源头保证循环成立。
OuroWorld项目主页为https://ouroworld.userwei.com,包含多组场景的循环动态演示、基线对比和用户研究数据。
全部知识事实 (8)
OuroWorld是一个无遮罩(mask-free)框架,能够将任意静态3D场景转变为从任何视角观看都能无缝循环的动态影像(3D cinemagraph)。
50%待验证OuroWorld的核心方法是使用视觉语言模型(VLM)推断场景动态,借助视频模型合成参考视频,再将其提升并补全为多视角视频序列。
50%待验证研究团队在39个重建与生成场景上测试了OuroWorld,在所有基线对比中均取得领先,并在用户研究对比中拿下70.8%至99.0%的胜率。
50%待验证OuroWorld提出Inconsistency-Robust Periodic 4DGS,包含傅里叶级数形变场和Grounded Drift Field两个关键组件,以从不完美监督信号中学习动态。
50%待验证OuroWorld引入了一套无需真值的评估体系,覆盖生动性、自然性、循环接缝连贯性和场景质量四个维度。
50%待验证OuroWorld采用拉格朗日式形变场框架,而非以往基于欧拉视角的方法,并结合VLM高层语义理解引导运动合成,覆盖更广泛的动态类型(包括刚体运动、非流体形变和光照变化)。
50%待验证多数动态3D方法在训练后处理阶段尝试让首尾帧对齐实现循环,而OuroWorld把周期性直接嵌入形变场的数学形式中,从源头保证循环成立。
50%待验证OuroWorld项目主页为https://ouroworld.userwei.com,包含多组场景的循环动态演示、基线对比和用户研究数据。
50%