共享潜在空间真的共享吗？运动VAE的兼容性真相

共享潜在空间（shared latent space）是多模态学习中的常见假设：只要不同模态共享参数、维度或先验，它们的潜在表示就可以直接互换使用。但一篇关于运动VAE的最新研究对这个假设提出了系统性质疑。

共享潜在空间的三种含义被混淆了

论文指出，研究者常把三件不同的事情混为一谈：可恢复对应关系（recoverable correspondence）、直接兼容性（direct compatibility）和解码器复用（decoder reuse）。

• 可恢复对应：经过线性校准后，能从潜在坐标中找回实例之间的配对关系。
• 直接兼容：无需任何后处理，不同 schema 的潜在表示可以直接互换使用。
• 解码器复用：同一解码器能同时处理来自不同 schema 的潜在编码。

共享骨干网络或共享先验，只能保证参数层面的一致性，并不能决定对应实例在潜在坐标中如何被表达。这意味着"共享"这个词在不同语境下指向的能力差异极大。

运动VAE（Motion VAE）是将变分自编码器（Variational Autoencoder, VAE）应用于人体运动序列建模的一类方法。VAE 由编码器和解码器组成：编码器将输入运动序列映射到低维潜在空间中的分布参数（通常是均值和方差），解码器则从潜在向量重建运动。其训练目标是最大化证据下界（ELBO），在重建误差与潜在分布的正则化项之间取得平衡。在运动生成任务中，VAE 的潜在空间常被当作运动的紧凑语义表示，用于插值、编辑或跨模态检索。由于运动数据具有强时序性和关节相关性，运动 VAE 的编码器通常采用 Transformer 或图卷积网络，解码器则需输出连贯的骨骼姿态序列。本文讨论的“多 schema 运动 VAE”即在共享骨干和解码器结构下，让同一模型处理多种运动表示规范。

实验设计：多 schema 运动 VAE 的受控测试

研究在 HumanML3D 数据集上构建了一个受控的多 schema 运动 VAE。所谓 schema，可以理解为同一运动数据的不同表示方式或编码规范。模型共享骨干和解码器结构，理论上应该产生可互换的潜在表示。

评估指标包括原始 Recall@1（衡量直接检索能力）和配对 token 余弦相似度（衡量潜在坐标的一致性）。这两个指标直接反映潜在空间"能不能直接用"，而不是"能不能被对齐"。

Recall@1（Top-1 召回率）是检索任务中的常用指标。给定一个查询样本，模型从候选库中检索出最相似的样本，如果排名第一的结果就是正确的配对样本，则记一次命中。Recall@1 即命中次数占总查询次数的比例。在本文语境中，原始 Recall@1 衡量的是：不经过任何线性校准或后处理，直接用 schema A 中某实例的潜在向量去检索 schema B 中对应实例时，首次命中正确配对的概率。该指标越低，说明两个 schema 的潜在坐标越不兼容。与之互补的配对 token 余弦相似度则计算对应实例潜在向量之间的余弦相似度，取值在 -1 到 1 之间，越接近 1 表示潜在表示越一致。这两个指标共同刻画了潜在空间的“直接可用性”，而非仅仅“可对齐性”。

惊人发现：共享架构下直接兼容几乎为零

实验结果出乎意料。即使输入完全相同，不同 schema 产生的潜在表示之间：

• 原始 Recall@1 只有 5.9%–17.7%
• 配对 token 余弦相似度仅为 0.221–0.484

也就是说，理论上"共享"的潜在空间中，对应实例的坐标几乎完全对不上。但如果允许线性校准，对应关系可以被近乎完美地恢复。这说明潜在空间的信息是存在的，只是没有被组织成可直接互换的形式。

循环一致性（cycle consistency）作为训练约束，能进一步增强可恢复性，但对直接检索和 token 一致性的改善几乎为零。约束让空间"更容易被解读"，却没有让不同 schema 的坐标"主动对齐"。

循环一致性（cycle consistency）是一种无需配对数据的训练约束，常用于跨域映射或对齐任务。其核心思想是：若将 schema A 的潜在表示映射到 schema B，再映射回 schema A，应能恢复原始表示；反之亦然。在本文的多 schema 运动 VAE 中，循环一致性约束鼓励不同 schema 的潜在空间在变换下保持结构一致，从而提升潜在表示的可恢复性。然而，循环一致性并不直接强制对应实例在各自潜在空间中的坐标相同，因此它能让空间“更容易被线性解读”，却无法让不同 schema 的坐标主动对齐。这一区别解释了为何循环一致性可以提升可恢复对应，却对直接兼容性几乎无改善。

少量配对数据带来戏剧性提升

研究中最具实践价值的发现来自配对数据的加入。仅仅 64 对配对片段（paired clips），就足以将原始 Recall@1 提升到 88.4%–90.3%，token 余弦相似度提升到约 0.82。

这个数字意味着：在测试设置下，大部分事后对齐（post-hoc alignment）变得不再必要。64 对样本相对于整个数据集来说微不足道，但它们提供的是跨 schema 的"锚点"，直接告诉模型哪些潜在坐标应该对应。

但研究者也提醒，即使直接兼容性大幅提升，交叉解码（crossed decoding）仍然明显差于原生重建。潜在表示可以直接检索了，但不代表解码质量跟上来了。

配对片段（paired clips）指同一段运动在不同 schema 下的成对表示。例如，同一动作序列分别以关节旋转角和关节位置两种规范编码，形成一对一的样本对。在本文中，仅用 64 对配对片段进行微调或对齐训练，就足以让模型学会将跨 schema 的对应实例映射到相近的潜在坐标。这些配对样本充当“锚点”，为模型提供了直接的跨 schema 监督信号，从而大幅提升原始 Recall@1 和 token 余弦相似度。这一发现说明，少量配对数据的杠杆效应远大于单纯增加无配对数据或依赖架构共享。

边际差异缩小不等于 schema 不变性

论文另一个反直觉的结论是：降低测得的边际分布差异（marginal discrepancy），并不意味着实现了 schema 不变性（schema invariance）。

常见做法是用力学散度或类似指标衡量两个 schema 的潜在分布是否接近，越接近就认为共享得越好。但实验表明，边际分布对齐和潜在坐标的直接兼容是两个独立维度。分布看起来一样，不代表对应实例落到了同一个位置。

这提醒研究者在评估共享表示时，不能只看分布层面的聚合指标，需要引入配对级别的验证。

对多模态表示学习的启示

这项研究对运动生成之外的多模态工作也有参考价值：

1. 共享参数不等于共享语义。架构层面的共享是必要不充分条件。
2. 可恢复性和直接兼容性需要分开评估。前者可以靠后处理实现，后者才是"真正共享"的标志。
3. 少量配对监督的杠杆效应显著。在测试设置中，64 对样本就能改变潜在空间的组织方式。
4. 边际分布对齐指标可能误导。评估共享质量时，应加入配对级检索和 token 一致性指标。

对于构建跨模态检索、运动迁移或多 schema 生成系统的团队来说，最直接的行动建议是：不要假设共享架构会自动带来共享潜在空间，用配对数据验证，必要时显式引入少量配对监督。