[控场AI]
论文Video Diffusion Avatars

VDAs

利用视频扩散模型先验从单张图像生成逼真、多视角一致可控虚拟人的方法,以学习式表情空间替代3DMM并解耦视角偏差

时间轴 (近 90 天)

10月19日

VDAs(Video Diffusion Avatars)是一种利用视频扩散模型先验,从单张图像生成逼真、多视角一致可控虚拟人的方法。

待验证50%
10月19日

VDAs用一个学习得到的表情空间替代3DMM,以突破3DMM的表达上限。

待验证50%
10月19日

通过解耦可以消除学习式表情编码的视角偏差,使编码作为多视角一致虚拟人的驱动信号。

待验证50%
10月19日

VDAs将相机视角和上半身姿态的控制统一交给代理网格渲染,而表情走学习式编码通道,三者彼此独立可分别调整。

待验证50%
10月19日

VDAs采用相机三元组训练策略,在单张A100上仅用34小时、且只依赖公开多视角数据完成训练。

待验证50%
10月19日

在新视角重演任务上,VDAs在BecomingLit数据集上相比最强单图3D虚拟人方法,面部LPIPS降低29%,JOD提升66%。

待验证50%
10月19日

静态3DGS重建探针实验确认VDAs的生成结果在多视角一致性上表现最佳。

待验证50%
10月19日

VDAs能产生显式渲染器难以企及的物理效果,如头发动态、阴影、反射与折射,这些细节是从视频数据中习得的隐式知识。

待验证50%

全部知识事实 (8)

来源文章