[控场AI]
模型

WorldRecon

一种生成式多视角三维重建框架,用带噪声的全局点云作为几何脚手架引导原生3D生成模型,可在无标定位姿的图像下重建大规模场景网格并输出几何与PBR材质。

时间轴 (近 90 天)

10月14日

WorldRecon 是一个生成式多视角重建框架,能够从无标定相机位姿的 RGB 图像重建大规模三维场景网格,兼顾几何保真与生成补全。

待验证50%
10月14日

WorldRecon 的方法第一步是用重建模型从输入图像估计相机位姿,并得到一份粗略带噪声的全局点云,然后将该点云切分为多个相互重叠的空间块,把大场景生成转化为局部块生成问题。

待验证50%
10月14日

WorldRecon 在原生3D生成模型 TRELLIS.2 之上设计了专用的重建式条件架构,每个空间块生成时同时接收局部点云裁剪和对应图像观测作为输入。

待验证50%
10月14日

WorldRecon 的条件机制使模型能够同时输出稀疏结构、精细几何与 PBR 材质。

待验证50%
10月14日

WorldRecon 引入邻居感知的隐变量修复(neighbour-aware latent inpainting)并配合因果式世界生成流程,让结构、几何与材质信息在重叠块之间依次传递,以维持场景连贯性。

待验证50%
10月14日

在合成与真实室内场景实验中,WorldRecon 与最强基线相比,在两个测试集上分别将 Chamfer 距离降低了 14.9% 和 43.1%,同时将 F-score 提升了 17.3% 和 12.0%。

待验证50%
10月14日

WorldRecon 仍依赖初始的位姿估计与全局点云作为脚手架,前序重建质量会直接影响最终结果上限,且分块重叠与跨块传播带来额外计算开销。

待验证50%
10月14日

WorldRecon 项目主页已公开,包含更多重建结果与实现细节。

待验证50%

全部知识事实 (8)

来源文章