MAMHOI
一种用于3D场景中人-物交互(HOI)生成的框架,采用可供性中介分解策略,将场景理解与运动合成拆分为可独立训练的两个模块,避免对配对的人-物-场景数据的依赖
时间轴 (近 90 天)
MAMHOI 提出了一种「可供性中介分解」框架,将场景理解与运动合成拆成两个可以独立训练的模块。
MAMHOI 采用两阶段流程:第一阶段由场景条件模型接收3D环境输入并预测可行的交互位置与方式,第二阶段由可供性条件HOI模型生成对应的人-物运动序列。
MAMHOI 的分解框架不需要任何配对的人-物-场景样本,场景理解模块可仅从人类-场景数据学习,交互动态模块可仅从人类-物数据学习。
在复杂室内环境中的实验显示,MAMHOI 显著减少了物体-场景穿透,同时更好地保留了人-物交互质量。
MAMHOI 选择可供性作为中间表示,利用其跨主体、跨任务的共享性,把与具体人体运动无关的「环境可行动性」从运动合成中剥离出来。
MAMHOI 的「先分解、再对接」策略可被借鉴到机器人操作、虚拟人动画、具身智能等受困于配对数据不足的方向。
可供性表示本身的泛化能力以及两阶段误差累积问题,仍是 MAMHOI 后续需要观察的方向。
全部知识事实 (7)
MAMHOI 提出了一种「可供性中介分解」框架,将场景理解与运动合成拆成两个可以独立训练的模块。
50%待验证MAMHOI 采用两阶段流程:第一阶段由场景条件模型接收3D环境输入并预测可行的交互位置与方式,第二阶段由可供性条件HOI模型生成对应的人-物运动序列。
50%待验证MAMHOI 的分解框架不需要任何配对的人-物-场景样本,场景理解模块可仅从人类-场景数据学习,交互动态模块可仅从人类-物数据学习。
50%待验证在复杂室内环境中的实验显示,MAMHOI 显著减少了物体-场景穿透,同时更好地保留了人-物交互质量。
50%待验证MAMHOI 选择可供性作为中间表示,利用其跨主体、跨任务的共享性,把与具体人体运动无关的「环境可行动性」从运动合成中剥离出来。
50%待验证MAMHOI 的「先分解、再对接」策略可被借鉴到机器人操作、虚拟人动画、具身智能等受困于配对数据不足的方向。
50%待验证可供性表示本身的泛化能力以及两阶段误差累积问题,仍是 MAMHOI 后续需要观察的方向。
50%