GRASE
一种基于智能体闭环反馈的Real-to-sim场景建模框架,将多视角视频作为持续参照,通过三阶段迭代修正生成几何一致的3D可仿真场景
时间轴 (近 90 天)
GRASE 是一种基于智能体框架的 Real-to-sim 方法,通过闭环反馈将多视角视频转换为可编辑、可仿真的3D场景。
GRASE 采用'哪里不对改哪里'的策略:当渲染结果与原始视频不符时,只修改出问题的组件,而非推倒重来。
GRASE 的流程分为三个相互咬合的阶段:拟合建筑外壳与开口、在共享坐标系中放置资产、迭代精修几何与位置。
GRASE 阶段一从深度线索和多视角信息中拟合建筑结构外壳(墙体、地板、天花板)及开口(门窗),为后续资产放置建立统一坐标系。
GRASE 阶段二由智能体将生成的3D资产放入同一坐标框架,并检查空间关系合理性,如沙发是否贴墙、桌子是否挡门。
GRASE 阶段三对每个资产的几何形状和摆放位置进行迭代优化,使渲染结果在多个观测视角下与原始视频尽可能吻合,形成反馈闭环。
论文实验显示,GRASE 在多项指标上显著优于现有最先进方法。
GRASE 的闭环反馈方式比单次生成更可靠,适用于需要物理仿真、机器人训练或数字孪生的应用。
闭环反馈意味着更多的迭代计算,如何在保持精度的同时控制成本是这类方法走向实用化的下一道关卡。
全部知识事实 (9)
GRASE 是一种基于智能体框架的 Real-to-sim 方法,通过闭环反馈将多视角视频转换为可编辑、可仿真的3D场景。
50%待验证GRASE 采用'哪里不对改哪里'的策略:当渲染结果与原始视频不符时,只修改出问题的组件,而非推倒重来。
50%待验证GRASE 的流程分为三个相互咬合的阶段:拟合建筑外壳与开口、在共享坐标系中放置资产、迭代精修几何与位置。
50%待验证GRASE 阶段一从深度线索和多视角信息中拟合建筑结构外壳(墙体、地板、天花板)及开口(门窗),为后续资产放置建立统一坐标系。
50%待验证GRASE 阶段二由智能体将生成的3D资产放入同一坐标框架,并检查空间关系合理性,如沙发是否贴墙、桌子是否挡门。
50%待验证GRASE 阶段三对每个资产的几何形状和摆放位置进行迭代优化,使渲染结果在多个观测视角下与原始视频尽可能吻合,形成反馈闭环。
50%待验证论文实验显示,GRASE 在多项指标上显著优于现有最先进方法。
50%待验证GRASE 的闭环反馈方式比单次生成更可靠,适用于需要物理仿真、机器人训练或数字孪生的应用。
50%待验证闭环反馈意味着更多的迭代计算,如何在保持精度的同时控制成本是这类方法走向实用化的下一道关卡。
50%