BAL:潜在空间双向自回归学习人体动作表示

BAL 利用人体运动内在时间顺序,在潜在空间做双向自回归,实现少假设的自监督动作表示学习。
BAL 针对现有自监督人体动作表示学习依赖人工假设(数据增强不变性、掩码重建时间尺度)的问题,提出利用运动序列固有的时间顺序作为监督信号。方法在语义潜在空间中进行双向自回归预测,同时利用前向与后向顺序约束,使表示能结合过去与未来上下文。为防止潜在预测常见的表示坍缩,BAL 将预测目标分解为全局与局部分量,并从理论上证明局部分量保留非平凡角向多样性。在大规模数据集上,BAL 表示在运动描述、预测和插值任务上多数指标优于基线,展示了通用性。方法依赖 3D 姿态输入,对姿态噪声和在线流式场景的适应性尚待验证。
人体动作表示学习是行为建模、动画生成与运动分析的基础任务。现有自监督方法大多依赖人工假设构造监督信号,例如对数据增强的不变性、或在特定时间尺度上恢复掩码区域的能力,这些假设引入了启发式超参数,使得学到的语义对设置敏感。来自学术社区的最新工作 BAL(Bidirectional Autoregression in Latent Space)提出了一种不同的思路:利用人体运动本身固有的顺序结构作为监督信号,在语义抽象的潜在空间中做双向自回归预测。
从人工假设到内在顺序:BAL 的核心动机
传统自监督动作表示学习通常走两条路:一是对比学习,假设同一动作在不同增强下应保持表示不变;二是掩码重建,假设模型能从上下文中恢复被遮挡的关节或帧。两类方法都隐含了“在某个范围内”“在某个时间尺度上”这类人工设定的边界,而这些边界本身就是超参数,直接决定了模型学到什么层次的语义。
BAL 的出发点更接近人类的认知方式:我们观察他人动作时,预测的是“他接下来要做什么”,而不是“他的肘关节下一帧转到多少度”。这种预测发生在语义抽象的层面,并且天然依赖动作在时间上的先后顺序。BAL 把这一直觉形式化为自回归预测任务,让模型在潜在空间中预测未来(或过去)的表示,而不是预测原始姿态坐标。
自监督学习中的对比学习与掩码重建:对比学习通过构造正负样本对,拉近同一语义在不同数据增强下的表示、推远不同语义的表示,其核心假设是“增强不变性”,但增强方式(如裁剪尺度、颜色抖动强度)本身是超参数,会显著影响学到的语义粒度。掩码重建则随机遮盖部分输入并要求模型恢复,其重建目标(原始坐标或特征)和掩码比例同样需要人工设定。两者共同的问题是监督信号依赖外部设计而非数据内在结构,导致表示语义对超参数敏感、跨数据集迁移时需重新调参。BAL 的动机正是绕开这类外部假设,直接利用运动序列天然的时间先后关系作为监督,从而减少需要人工调节的自由度。
双向自回归:同时利用过去与未来上下文
单向自回归只能利用历史信息,但推理阶段往往可以同时获取前后文。BAL 采用双向自回归预测,即同时进行前向和后向的时间预测。这样做有两个好处:一方面,前向与后向的顺序约束互为补充,为表示学习提供了更密集的监督信号;另一方面,模型在提取表示时可以同时利用过去和未来的上下文,这对于运动描述(motion captioning)和插值(interpolation)这类需要全局理解的任务尤为重要。
从信息论的角度看,双向预测迫使潜在表示同时编码“什么导致了当前动作”和“当前动作将导致什么”,从而更完整地刻画动作的语义结构。

自回归模型与潜在空间预测:自回归模型将序列的联合概率分解为条件概率的乘积,即用已观测的前缀预测下一项,典型代表是语言模型中的 GPT 系列。传统自回归在原始数据空间(如关节坐标或像素)上预测,而 BAL 将预测对象换成编码器输出的潜在表示,使模型不必建模低层噪声细节,只需预测语义层面的演化。这种“潜在空间自回归”降低了预测难度,也让表示本身被迫编码可预测的时间结构。双向版本则同时训练前向与后向两个方向的预测头,相当于对同一序列施加两个互为逆序的条件约束,从而在表示中同时注入“由因及果”和“由果溯因”的信息。
防止表示坍缩:全局与局部目标分解
自回归预测在潜在空间中做目标时,一个经典风险是表示坍缩——模型把所有输入映射到同一个常数表示,预测任务变得平凡。BAL 的应对方式是将每个预测目标分解为两部分:全局分量捕捉序列级语义(例如整体动作类别或风格),局部分量捕捉与上下文无关的运动细节。
作者从理论上证明,除非表示完全坍缩,局部分量始终保留非平凡的角向多样性(angular diversity),这意味着训练信号不会退化为零。这一性质为潜在空间自回归训练提供了稳定性保证,也是 BAL 区别于简单潜在预测方法的关键设计。
表示坍缩与角向多样性:表示坍缩指编码器将所有输入映射到几乎相同的向量,使预测目标退化为常数,自监督损失虽低但表示毫无区分度。在潜在空间做自回归时,若预测目标直接是另一时刻的完整表示,模型可能通过让表示趋于常数来“作弊”。BAL 将目标拆成全局分量(序列级、与具体时刻无关)和局部分量(时刻相关细节),并证明只要表示未完全坍缩,局部分量在方向(角度)上仍保持非平凡差异,即角向多样性。这一性质意味着局部预测目标始终提供有效梯度,从而在理论上排除了平凡解,为训练稳定性提供了保证。
实验表现:动作描述、预测与插值
在大规模数据集上的实验显示,BAL 学到的表示在运动描述、运动预测和运动插值三类下游任务上均表现有效,在多数评测指标上超过基线方法。有意思的是,这些任务对表示的要求各不相同:描述任务需要语义级理解,预测任务需要动态建模能力,插值任务需要平滑的流形结构。BAL 在多个任务上同时取得优势,说明其表示具有较好的通用性。
论文没有披露具体的数值提升幅度,但从任务覆盖面和评测指标的广度来看,BAL 的有效性得到了较充分的验证。
方法启示与局限
BAL 的价值在于重新审视了自监督信号从哪里来这个问题。当人工设计的增强与掩码策略不断堆叠超参数时,回归数据本身的内在结构——时间顺序——反而是一个更干净、更少假设的监督来源。这一思路对视频理解、人机交互和具身智能中的行为建模都有借鉴意义。
说一下,BAL 依赖 3D 姿态序列作为输入,这意味着它的应用前提是能获得较高质量的姿态估计结果;在野外场景中姿态噪声较大时,顺序结构的监督信号是否依然可靠,论文未做深入讨论。此外,双向自回归在推理时需要完整序列上下文,对在线流式场景的适配性也有待验证。
总体而言,BAL 为人体动作表示学习提供了一个假设更少、理论支撑更清晰的框架,其“在语义潜在空间做双向顺序预测”的设计值得后续工作参考。
相关推荐

从讲坛到参议院:牧师参议员谈何谓罪
一位同时担任埃比尼泽教会牧师和美国参议员的访谈片段:他坦言在华盛顿的经历让他对罪与傲慢有了新认识,布道反而因此更有力量,甚至将华盛顿与所多玛、蛾摩拉相提并论。

TechCrunch Mobility:机器人对比人类的A/B测试
TechCrunch Mobility专栏聚焦交通未来与AI角色,讨论机器人对比人类的A/B测试。本文解读该实验的背景、测试设计挑战及对出行行业的启示,分析人机协作的边界与评估逻辑。

Leonida 项目:将 Xbox 版 GTA 6 重编译到 PC 的开源尝试
Leonida 是一个试图对 Xbox 版 GTA 6 进行重编译、让游戏运行在 PC 上的开源项目。本文分析其技术路线、社区争议与对 PC 游戏生态的意义。