VDAs
利用视频扩散模型先验从单张图像生成逼真、多视角一致可控虚拟人的方法,以学习式表情空间替代3DMM并解耦视角偏差
时间轴 (近 90 天)
VDAs(Video Diffusion Avatars)是一种利用视频扩散模型先验,从单张图像生成逼真、多视角一致可控虚拟人的方法。
VDAs用一个学习得到的表情空间替代3DMM,以突破3DMM的表达上限。
通过解耦可以消除学习式表情编码的视角偏差,使编码作为多视角一致虚拟人的驱动信号。
VDAs将相机视角和上半身姿态的控制统一交给代理网格渲染,而表情走学习式编码通道,三者彼此独立可分别调整。
VDAs采用相机三元组训练策略,在单张A100上仅用34小时、且只依赖公开多视角数据完成训练。
在新视角重演任务上,VDAs在BecomingLit数据集上相比最强单图3D虚拟人方法,面部LPIPS降低29%,JOD提升66%。
静态3DGS重建探针实验确认VDAs的生成结果在多视角一致性上表现最佳。
VDAs能产生显式渲染器难以企及的物理效果,如头发动态、阴影、反射与折射,这些细节是从视频数据中习得的隐式知识。
全部知识事实 (8)
VDAs(Video Diffusion Avatars)是一种利用视频扩散模型先验,从单张图像生成逼真、多视角一致可控虚拟人的方法。
50%待验证VDAs用一个学习得到的表情空间替代3DMM,以突破3DMM的表达上限。
50%待验证通过解耦可以消除学习式表情编码的视角偏差,使编码作为多视角一致虚拟人的驱动信号。
50%待验证VDAs将相机视角和上半身姿态的控制统一交给代理网格渲染,而表情走学习式编码通道,三者彼此独立可分别调整。
50%待验证VDAs采用相机三元组训练策略,在单张A100上仅用34小时、且只依赖公开多视角数据完成训练。
50%待验证在新视角重演任务上,VDAs在BecomingLit数据集上相比最强单图3D虚拟人方法,面部LPIPS降低29%,JOD提升66%。
50%待验证静态3DGS重建探针实验确认VDAs的生成结果在多视角一致性上表现最佳。
50%待验证VDAs能产生显式渲染器难以企及的物理效果,如头发动态、阴影、反射与折射,这些细节是从视频数据中习得的隐式知识。
50%