DistScene
一种单图生成3D场景的对象到场景蒸馏框架,通过显式建模环境组件、联合生成物体与环境、以及知识蒸馏迁移预训练先验,实现空间关系连贯的组合式3D场景生成
时间轴 (近 90 天)
DistScene是一个从单张图片生成组合式3D场景的对象到场景蒸馏框架
DistScene的生成流程由Scene-Frame Generation、Object-Centric Refinement和Object-to-Scene Distillation三个模块组成
Scene-Frame Generation在共享坐标系中分别生成环境组件与物体组件,使它们的几何形态与相对位置关系可以被同时学习
Object-Centric Refinement在每个物体的局部坐标系中进行精细化处理,同时保留场景上下文信息
Object-to-Scene Distillation通过自动合成并渲染的合成场景,将预训练物体生成先验知识迁移到场景生成任务中
DistScene的蒸馏思路缓解了场景级训练数据稀缺的问题
DistScene在室内与室外两类基准上进行了评估,相较于所评估的基线方法在场景级空间连贯性方面取得改进
DistScene论文中'优于所评估的基线'的表述对比范围限定在特定基线集合内,更广泛场景下的泛化能力有待进一步验证
DistScene项目主页地址为https://coolbeam.github.io/DistScene/
全部知识事实 (9)
DistScene是一个从单张图片生成组合式3D场景的对象到场景蒸馏框架
50%待验证DistScene的生成流程由Scene-Frame Generation、Object-Centric Refinement和Object-to-Scene Distillation三个模块组成
50%待验证Scene-Frame Generation在共享坐标系中分别生成环境组件与物体组件,使它们的几何形态与相对位置关系可以被同时学习
50%待验证Object-Centric Refinement在每个物体的局部坐标系中进行精细化处理,同时保留场景上下文信息
50%待验证Object-to-Scene Distillation通过自动合成并渲染的合成场景,将预训练物体生成先验知识迁移到场景生成任务中
50%待验证DistScene的蒸馏思路缓解了场景级训练数据稀缺的问题
50%待验证DistScene在室内与室外两类基准上进行了评估,相较于所评估的基线方法在场景级空间连贯性方面取得改进
50%待验证DistScene论文中'优于所评估的基线'的表述对比范围限定在特定基线集合内,更广泛场景下的泛化能力有待进一步验证
50%待验证DistScene项目主页地址为https://coolbeam.github.io/DistScene/
50%