MAMHOI：用可供性分解生成场景感知的人-物交互

在3D场景中生成逼真的人-物交互（HOI），长期面临一个结构性难题：理解环境是否支持某个交互，和合成自然的人-物运动，这两件事需要的能力完全不同，而能同时监督这两件事的数据极其稀缺。

最新研究 MAMHOI 提出了一种「可供性中介分解」（affordance-mediated factorization）框架，把场景理解与运动合成拆成两个可以独立训练的模块，从而绕开配对数据不足的瓶颈。项目页面已公开。

为什么人-物-场景三元组数据如此稀缺

现有数据集的覆盖范围存在明显的偏斜。人类-场景数据集（如室内环境中的动作捕捉）能提供丰富的环境感知运动信息，告诉我们人在空间中如何行走、坐下、避障；人类-物数据集则聚焦于抓取、搬运、操作等交互动态，细节丰富但往往脱离具体场景。

真正把「人—物—场景」三者同时标注的配对数据，规模远远不够支撑端到端训练。这导致一个典型困境：模型在单一数据集上表现尚可，一旦进入复杂3D场景，就会出现物体穿透、交互姿态失真等问题。

MAMHOI 的核心判断是——与其等待配对数据，不如改变问题的分解方式。

要理解配对数据为何稀缺，可以从采集成本的角度看：同时标注人、物、场景三类要素，意味着需要精确的人体动作捕捉、被操作物体的位姿追踪，以及完整的三维场景重建，三者必须在同一时空和同一坐标系下对齐。现有的人类-场景数据集（如室内动作捕捉）通常只记录人体骨架与粗略环境几何，物体往往被简化或忽略；人类-物数据集（如抓取数据集）通常在桌面等受控环境中采集，场景本身高度简化。两边的坐标系、标注粒度、物体类别体系往往不一致，简单地拼接并不能构成真正的「配对样本」。这正是端到端方法在复杂3D场景中容易失效的根本原因：模型在训练分布内表现尚可，但缺乏跨域对齐的监督，泛化到真实场景时就会出现穿透、漂浮、姿态失真等问题。

分解策略：用「运动-可供性接口」连接两个世界

MAMHOI 把场景感知的HOI生成拆成显式的两阶段流程：

第一阶段，一个场景条件模型接收3D环境输入，预测「在哪里、以什么方式」可以可行地执行交互。这里的关键概念是可供性（affordance）——它描述的不是动作本身，而是环境为动作提供的可能性，比如桌面适合放置物体、椅面适合坐下。

第二阶段，一个可供性条件HOI模型接收上述预测结果，生成对应的人-物运动序列。

这个中间接口的意义在于：场景理解模块可以只从人类-场景数据中学习，交互动态模块可以只从人类-物数据中学习，两者通过可供性表示对接，不需要任何配对的人-物-场景样本。原文将这一设计概括为「允许场景理解与交互动态从互补的监督来源中学习」。

可供性（affordance） 这一概念最早由生态心理学家 James J. Gibson 在 1979 年提出，用来描述环境相对于某个行动主体所提供的行动可能性——它既不属于纯粹的客观环境属性，也不属于主体的主观意图，而是两者之间的一种关系。例如，同样一个台阶，对成年人是「可坐的」，对幼儿可能只是「可扶的」。在计算机视觉与机器人领域，可供性通常被形式化为一个从场景几何、物体类别到动作候选的映射函数，常见表示包括可供性热力图（affordance map）、可供性姿态分布或接触点分布。与「动作识别」不同，可供性预测关注的是「这个环境允许多种动作中的哪一些、在哪些位置、以什么姿态发生」，因此天然具备跨主体、跨任务的共享性。MAMHOI 选择可供性作为中间表示，正是利用了这一共享性：它把与具体人体运动无关的「环境可行动性」从运动合成中剥离出来，使两个模块能够分别从不同数据源获得监督信号。

实验结果：穿透更少，交互质量保持得更好

在复杂室内环境中的实验显示，MAMHOI 同时改善了两类指标：

• 物体-场景穿透显著减少。这意味着生成的运动在物理上更可行，人不会穿过墙壁或家具，物体也不会嵌入桌面。
• 人-物交互质量得到更好保留。分解并没有以牺牲交互真实性为代价来换取物理合理性，两者的权衡关系被缓解。

研究者的总结是，该框架产出了「更真实且物理可行的场景感知交互」。这一结果也间接支持了分解思路的有效性——把可行性推理与运动合成解耦，反而让各自都能被更充分地监督。

这一思路的启发

MAMHOI 的价值不止于HOI生成本身。它展示了一种应对数据稀缺的通用范式：当端到端监督不可得时，寻找一个语义明确、可独立学习的中间表示，让不同来源的数据在这个表示上交汇。可供性在这里扮演的正是这个角色。

对于机器人操作、虚拟人动画、具身智能等同样受困于配对数据不足的方向，这种「先分解、再对接」的策略值得借鉴。当然，可供性表示本身的泛化能力、以及两阶段误差累积问题，仍是后续需要观察的方向。