[控场AI]
· 4 分钟阅读· 2,496 字

BAL:潜在空间双向自回归学习人体动作表示

BAL:潜在空间双向自回归学习人体动作表示

BAL 利用人体运动内在时间顺序,在潜在空间做双向自回归,实现少假设的自监督动作表示学习。

BAL 针对现有自监督人体动作表示学习依赖人工假设(数据增强不变性、掩码重建时间尺度)的问题,提出利用运动序列固有的时间顺序作为监督信号。方法在语义潜在空间中进行双向自回归预测,同时利用前向与后向顺序约束,使表示能结合过去与未来上下文。为防止潜在预测常见的表示坍缩,BAL 将预测目标分解为全局与局部分量,并从理论上证明局部分量保留非平凡角向多样性。在大规模数据集上,BAL 表示在运动描述、预测和插值任务上多数指标优于基线,展示了通用性。方法依赖 3D 姿态输入,对姿态噪声和在线流式场景的适应性尚待验证。

人体动作表示学习是行为建模、动画生成与运动分析的基础任务。现有自监督方法大多依赖人工假设构造监督信号,例如对数据增强的不变性、或在特定时间尺度上恢复掩码区域的能力,这些假设引入了启发式超参数,使得学到的语义对设置敏感。来自学术社区的最新工作 BAL(Bidirectional Autoregression in Latent Space)提出了一种不同的思路:利用人体运动本身固有的顺序结构作为监督信号,在语义抽象的潜在空间中做双向自回归预测。

从人工假设到内在顺序:BAL 的核心动机

传统自监督动作表示学习通常走两条路:一是对比学习,假设同一动作在不同增强下应保持表示不变;二是掩码重建,假设模型能从上下文中恢复被遮挡的关节或帧。两类方法都隐含了“在某个范围内”“在某个时间尺度上”这类人工设定的边界,而这些边界本身就是超参数,直接决定了模型学到什么层次的语义。

BAL 的出发点更接近人类的认知方式:我们观察他人动作时,预测的是“他接下来要做什么”,而不是“他的肘关节下一帧转到多少度”。这种预测发生在语义抽象的层面,并且天然依赖动作在时间上的先后顺序。BAL 把这一直觉形式化为自回归预测任务,让模型在潜在空间中预测未来(或过去)的表示,而不是预测原始姿态坐标。

自监督学习中的对比学习与掩码重建:对比学习通过构造正负样本对,拉近同一语义在不同数据增强下的表示、推远不同语义的表示,其核心假设是“增强不变性”,但增强方式(如裁剪尺度、颜色抖动强度)本身是超参数,会显著影响学到的语义粒度。掩码重建则随机遮盖部分输入并要求模型恢复,其重建目标(原始坐标或特征)和掩码比例同样需要人工设定。两者共同的问题是监督信号依赖外部设计而非数据内在结构,导致表示语义对超参数敏感、跨数据集迁移时需重新调参。BAL 的动机正是绕开这类外部假设,直接利用运动序列天然的时间先后关系作为监督,从而减少需要人工调节的自由度。

双向自回归:同时利用过去与未来上下文

单向自回归只能利用历史信息,但推理阶段往往可以同时获取前后文。BAL 采用双向自回归预测,即同时进行前向和后向的时间预测。这样做有两个好处:一方面,前向与后向的顺序约束互为补充,为表示学习提供了更密集的监督信号;另一方面,模型在提取表示时可以同时利用过去和未来的上下文,这对于运动描述(motion captioning)和插值(interpolation)这类需要全局理解的任务尤为重要。

从信息论的角度看,双向预测迫使潜在表示同时编码“什么导致了当前动作”和“当前动作将导致什么”,从而更完整地刻画动作的语义结构。

BAL 双向自回归框架示意

自回归模型与潜在空间预测:自回归模型将序列的联合概率分解为条件概率的乘积,即用已观测的前缀预测下一项,典型代表是语言模型中的 GPT 系列。传统自回归在原始数据空间(如关节坐标或像素)上预测,而 BAL 将预测对象换成编码器输出的潜在表示,使模型不必建模低层噪声细节,只需预测语义层面的演化。这种“潜在空间自回归”降低了预测难度,也让表示本身被迫编码可预测的时间结构。双向版本则同时训练前向与后向两个方向的预测头,相当于对同一序列施加两个互为逆序的条件约束,从而在表示中同时注入“由因及果”和“由果溯因”的信息。

防止表示坍缩:全局与局部目标分解

自回归预测在潜在空间中做目标时,一个经典风险是表示坍缩——模型把所有输入映射到同一个常数表示,预测任务变得平凡。BAL 的应对方式是将每个预测目标分解为两部分:全局分量捕捉序列级语义(例如整体动作类别或风格),局部分量捕捉与上下文无关的运动细节。

作者从理论上证明,除非表示完全坍缩,局部分量始终保留非平凡的角向多样性(angular diversity),这意味着训练信号不会退化为零。这一性质为潜在空间自回归训练提供了稳定性保证,也是 BAL 区别于简单潜在预测方法的关键设计。

表示坍缩与角向多样性:表示坍缩指编码器将所有输入映射到几乎相同的向量,使预测目标退化为常数,自监督损失虽低但表示毫无区分度。在潜在空间做自回归时,若预测目标直接是另一时刻的完整表示,模型可能通过让表示趋于常数来“作弊”。BAL 将目标拆成全局分量(序列级、与具体时刻无关)和局部分量(时刻相关细节),并证明只要表示未完全坍缩,局部分量在方向(角度)上仍保持非平凡差异,即角向多样性。这一性质意味着局部预测目标始终提供有效梯度,从而在理论上排除了平凡解,为训练稳定性提供了保证。

实验表现:动作描述、预测与插值

在大规模数据集上的实验显示,BAL 学到的表示在运动描述、运动预测和运动插值三类下游任务上均表现有效,在多数评测指标上超过基线方法。有意思的是,这些任务对表示的要求各不相同:描述任务需要语义级理解,预测任务需要动态建模能力,插值任务需要平滑的流形结构。BAL 在多个任务上同时取得优势,说明其表示具有较好的通用性。

论文没有披露具体的数值提升幅度,但从任务覆盖面和评测指标的广度来看,BAL 的有效性得到了较充分的验证。

方法启示与局限

BAL 的价值在于重新审视了自监督信号从哪里来这个问题。当人工设计的增强与掩码策略不断堆叠超参数时,回归数据本身的内在结构——时间顺序——反而是一个更干净、更少假设的监督来源。这一思路对视频理解、人机交互和具身智能中的行为建模都有借鉴意义。

说一下,BAL 依赖 3D 姿态序列作为输入,这意味着它的应用前提是能获得较高质量的姿态估计结果;在野外场景中姿态噪声较大时,顺序结构的监督信号是否依然可靠,论文未做深入讨论。此外,双向自回归在推理时需要完整序列上下文,对在线流式场景的适配性也有待验证。

总体而言,BAL 为人体动作表示学习提供了一个假设更少、理论支撑更清晰的框架,其“在语义潜在空间做双向顺序预测”的设计值得后续工作参考。

#BAL#双向自回归#人体动作表示#自监督学习#潜在空间#运动预测#表示坍缩
分享:

相关推荐