SceneBloom
一种两阶段智能体框架,利用扩散模型先验生成家具布局提案,并通过合约引导的3D编译器转化为物理有效的室内3D场景,用于具身智能训练数据生成。
时间轴 (近 90 天)
SceneBloom 提出了一种智能体框架,通过结合视觉布局采样与合约引导的3D编译,自动生成高质量、无碰撞的室内场景,为具身学习提供数据来源。
分层采样器利用扩散模型的先验知识,将房间划分为功能区域,并在这些区域内采样家具的位置和朝向,以生成家具排列。
合约引导的3D编译器从每个布局提案中提取物体间的关系作为约束(如“椅子在桌子旁边”“床靠墙”),并以此进行几何拟合和局部姿态修正。
合约(Contract)在SceneBloom中指从布局提案中提取出的物体间空间关系约束,例如“椅子与桌子距离在0.3至0.8米之间”“床的一侧紧贴墙面”“沙发正对电视”。
SceneBloom 在五种房间类型上的对比实验中,在视觉质量和物理稳定性上均达到最高水平,并且是唯一没有检测到网格碰撞和越界物体的方法。
SceneBloom 生成的布局分布比所有基线方法都更接近真实房间的分布。
在SceneBloom生成的场景中训练的物体导航策略,在未参与训练的真实扫描数据上取得了比使用等量真实训练扫描更高的成功率。
SceneBloom 当前主要关注家具布局,对于更细粒度的物体(如桌面上的小物件)可能尚未覆盖。
SceneBloom 生成的场景多样性受限于扩散模型的先验分布。
SceneBloom 的代码已在GitHub开源,为后续研究提供了可复现的基础。
全部知识事实 (10)
SceneBloom 提出了一种智能体框架,通过结合视觉布局采样与合约引导的3D编译,自动生成高质量、无碰撞的室内场景,为具身学习提供数据来源。
50%待验证分层采样器利用扩散模型的先验知识,将房间划分为功能区域,并在这些区域内采样家具的位置和朝向,以生成家具排列。
50%待验证合约引导的3D编译器从每个布局提案中提取物体间的关系作为约束(如“椅子在桌子旁边”“床靠墙”),并以此进行几何拟合和局部姿态修正。
50%待验证合约(Contract)在SceneBloom中指从布局提案中提取出的物体间空间关系约束,例如“椅子与桌子距离在0.3至0.8米之间”“床的一侧紧贴墙面”“沙发正对电视”。
50%待验证SceneBloom 在五种房间类型上的对比实验中,在视觉质量和物理稳定性上均达到最高水平,并且是唯一没有检测到网格碰撞和越界物体的方法。
50%待验证SceneBloom 生成的布局分布比所有基线方法都更接近真实房间的分布。
50%待验证在SceneBloom生成的场景中训练的物体导航策略,在未参与训练的真实扫描数据上取得了比使用等量真实训练扫描更高的成功率。
50%待验证SceneBloom 当前主要关注家具布局,对于更细粒度的物体(如桌面上的小物件)可能尚未覆盖。
50%待验证SceneBloom 生成的场景多样性受限于扩散模型的先验分布。
50%待验证SceneBloom 的代码已在GitHub开源,为后续研究提供了可复现的基础。
50%