[控场AI]
· 4 分钟阅读· 2,347 字

FlowMoP:随机多人运动预测新框架

FlowMoP:随机多人运动预测新框架

FlowMoP用条件流匹配联合生成多人多样化未来运动,兼顾精度与多样性。

FlowMoP 提出一种条件流匹配框架,将多人3D运动预测从确定性回归转变为条件生成任务,联合生成多个智能体的多样化未来运动。架构上采用B样条重参数化将生成状态压缩到低维控制点以保证时间平滑性,并用双流Transformer分别处理全局轨迹与根相对姿态,实现交互感知的条件建模。在CMU-Mocap(UMPM)和3DPW上,FlowMoP在联合位置误差、姿态误差和最终位移误差上均优于确定性基线,证明生成式建模未牺牲精度。在WorldPose足球数据集上建立首个运动预测基线,发现社会条件化能将预测不确定性集中到交互约束方向。文章还讨论了依赖观测邻居、B样条高频表达受限等局限。

多人3D运动预测长期被确定性范式主导,每个智能体只输出固定数量的未来轨迹。然而,真实场景中同一段历史观测可能对应多种合理未来——取决于意图、协调与社会上下文。FlowMoP 提出一种条件流匹配框架,联合生成多个智能体的多样化未来运动,同时建模全局轨迹与根相对姿态。

FlowMoP概览

从确定性到随机生成:范式转变

现有主流方法将多人运动预测视为确定性回归问题,为每个智能体输出固定数量的未来轨迹。这种设计忽略了人类行为的内在随机性:相同的历史观测,可能因个体意图、群体协调或社会规范的不同而衍生出多种合理未来。FlowMoP 的核心洞察在于,将预测问题重新定义为条件生成任务,通过流匹配(flow matching)框架学习未来运动的完整分布,而非单一的点估计。

与扩散模型相比,条件流匹配在训练和采样效率上更具优势,同时保持生成多样性。FlowMoP 联合生成多个智能体的未来运动,这意味着智能体之间的交互一致性在生成过程中被显式建模,而非事后修正。

条件流匹配(Conditional Flow Matching) 是一类基于连续归一化流(CNF)的生成建模方法。其核心思想是学习一个时间依赖的速度场,将简单先验分布(如高斯噪声)沿常微分方程轨迹连续地变换为目标数据分布。与扩散模型通过逐步加噪/去噪不同,流匹配直接回归条件概率路径上的速度向量,训练目标更简洁,且可采用更少的采样步数完成生成。条件版本则以历史观测、邻居状态等上下文为条件,使生成的分布随输入动态变化。相比扩散模型,流匹配在采样效率和训练稳定性上通常更具优势,同时保留了生成多模态分布的能力,这使其适合需要实时性与多样性的运动预测任务。

技术核心:B样条压缩与双流Transformer

FlowMoP 在架构上包含两个关键设计。第一,B样条重参数化(B-spline reparameterization)将生成状态空间压缩到低维控制点,同时强制时间平滑性。这一设计既降低了生成模型的复杂度,又保证了输出轨迹的物理合理性——人体运动在短时间内不会出现剧烈抖动。

第二,双流Transformer(dual-stream transformer)为每个智能体提供交互感知的条件信息。每个智能体的预测以观测到的邻居运动为条件,从而捕捉社会交互对运动的影响。双流结构分别处理全局轨迹和根相对姿态,使模型能够同时关注宏观位移和微观姿态变化。

B样条重参数化(B-spline reparameterization) 是一种用少量控制点表示连续曲线的参数化技术。给定一组控制点和基函数,B样条可光滑地插值出整条轨迹,其阶数决定曲线的连续性。在生成建模中,直接在高维逐帧状态空间上采样代价高且易产生抖动;将状态压缩为低维控制点后,生成模型只需预测这些控制点,再由B样条解码为完整轨迹。这样做一方面显著降低了生成空间的维度,另一方面B样条的基函数本身具有平滑性约束,可抑制高频噪声,保证输出轨迹在物理上合理。代价是表达能力受控制点数量与阶数限制,对快速变向等高频运动可能欠拟合。

双流Transformer(dual-stream transformer) 指采用两条并行注意力流分别处理不同粒度运动表征的架构。在人体运动预测中,一条流建模全局轨迹(如根节点在世界坐标中的位移),另一条流建模根相对姿态(各关节相对于根节点的局部旋转与位置)。两条流通过跨流注意力或共享条件信息交互,使宏观位移与微观姿态的预测相互约束。这种分解的动机在于:全局轨迹与局部姿态的统计特性和时间尺度不同,混合建模易相互干扰;分开处理后,模型既能捕捉长程空间位移,又能精细刻画关节运动,同时借助注意力机制实现智能体间的交互感知条件化。

实验结果:分布预测超越确定性基线

FlowMoP 在 CMU-Mocap(UMPM)和 3DPW 两个标准数据集上取得了 state-of-the-art 性能。你可能没注意到,尽管 FlowMoP 输出的是完整预测分布而非单一轨迹,其在联合位置误差、姿态误差和最终位移误差上均优于确定性基线。这一结果说明,生成式建模并未牺牲精度,反而通过捕捉多模态性提升了整体预测质量。

研究团队还在 WorldPose 数据集上建立了首个运动预测基线。WorldPose 是一个大规模职业足球数据集,包含多人交互场景。在该数据集上,社会条件化(social conditioning)被证明能够将预测不确定性集中到交互约束的方向上——换言之,模型学会在哪些方向上未来更确定、哪些方向上存在分歧。

社会条件化如何塑造不确定性

FlowMoP 的一个关键发现是,社会交互信息不仅提升预测精度,还改变了不确定性的分布结构。在足球场景中,球员的运动受到队友和对手位置的双向约束,模型生成的不确定性并非均匀分布,而是沿着交互约束的方向集中。这一现象为理解多人运动预测中的不确定性来源提供了新视角:不确定性并非纯粹的噪声,而是社会交互结构的反映。

该工作也提示,未来运动预测系统的评估不应仅关注点误差,还需考察生成分布的质量与多样性。对于自动驾驶、人群模拟和体育分析等应用,能够生成多种合理未来比给出单一“最佳猜测”更具实用价值。

局限与展望

FlowMoP 目前仍依赖于观测到的邻居运动作为条件,对于未观测到的智能体或突发交互的建模能力有待进一步验证。此外,B样条压缩在提升平滑性的同时可能限制高频运动的表达能力。未来工作或可探索更灵活的状态表示,以及将流匹配框架扩展到在线预测场景。

#FlowMoP#多人运动预测#条件流匹配#随机运动预测#双流Transformer#B样条重参数化#3D人体运动
分享:

相关推荐