HORIA

HORIA框架通过运动感知描述与交互感知重渲染两项核心设计，在多种交互场景下实现了时间连贯且几何准确的4D重建。

HORIA在单目视频人-物交互4D重建任务上取得了当前最优性能。

HORIA采用运动感知描述（motion-aware captioning）为每个交互阶段生成专属的文本描述。

HORIA的交互感知重渲染流程包含三步：从新视角渲染初步重建的4D人体与物体、利用文本到视频扩散先验以阶段文本为条件细化渲染结果、将细化后的渲染作为辅助监督反哺4D重建。

HORIA利用文本到视频扩散先验，以阶段文本描述为条件，对新视角渲染结果进行细化。

HORIA用扩散先验细化后的渲染作为伪真值，通过可微渲染把误差回传到人体与物体的几何与运动参数上。

HORIA的闭环类似自监督中的伪标签蒸馏，其有效性取决于伪标签质量，扩散先验的保真度与文本条件的准确性共同决定了最终重建的上限。

扩散先验的引入带来额外的计算开销，文本描述的质量也会影响最终重建效果，这是该路线在落地时需要权衡的因素。

HORIA框架对动作捕捉、AR/VR内容创作、机器人模仿学习等需要理解人-物交互的下游任务有参考意义。