单纯形约束表示：97%消除多模态嵌入模态鸿沟

多模态对比模型（如CLIP和CLAP）虽能学习共享表示，但其嵌入空间存在一个顽固的模态鸿沟——图像和文本的嵌入向量在单位球上各据一方，难以真正对齐。一篇新论文提出了一种纯几何的解决思路：将嵌入域从单位球改为概率单纯形，通过非负、单位质量的约束强制两种模态校准到同一坐标系。实验显示，这一方法在五个多模态检索基准上将质心的ℓ2距离缩小了97–99%，同时检索性能与无约束模型持平甚至更优。

模态鸿沟的根源与几何新解

CLIP类模型通过对比学习将图像和文本映射到同一嵌入空间，但研究表明，两种模态的嵌入分布往往分居单位球的两侧，形成所谓的“模态鸿沟”。这种分离并非语义差异所致，而是嵌入几何的副产品：单位球S^{d-1}的对称性允许模型将不同模态推向不同区域而不影响对比损失。

论文作者指出，尽管单位球和概率单纯形Δ^{d-1}具有相同的本征维度，但单纯形的非负约束与单位质量约束构成了一种结构先验。这种先验如同一个跨模态的校准器，迫使两种模态的表示都落在同一坐标系的正象限内，从而天然地抑制了分离。

单位球与概率单纯形是理解本文几何思路的关键。单位球 $S^{d-1} = {x \in \mathbb{R}^d : |x|_2 = 1}$ 是嵌入学习中最常用的约束面，余弦相似度天然定义在其上；它的对称性极高，任意方向都等价，因此模型可以把同一语义的不同模态放到球面上相距很远的两个位置，而不增加对比损失。概率单纯形 $\Delta^{d-1} = {p \in \mathbb{R}^d : p_i \ge 0, \sum_i p_i = 1}$ 则是概率分布的几何表示，同样具有 $d-1$ 维本征维度，但它只占据球面正象限的一小块区域，且边界由非负约束和平移约束共同限定。两者的关键差别不在维度，而在约束的形状：单纯形把所有表示限制在同一坐标系的正象限内，消除了球面上“反向区域”这种退化解，从而为跨模态对齐提供了结构性的先验。

轻量适配器与全变差相似度

实现上，作者在原有嵌入后附加了轻量级的softmax适配器，将单位球上的向量映射到概率单纯形。这一适配器参数量极小，不会显著改变模型规模。同时，相似度度量从常用的余弦相似度替换为全变差相似度（Total Variation similarity），更适配单纯形上的概率分布比较。

这种设计带来的计算开销几乎可以忽略，却直接作用于嵌入的几何结构。作者在五个多模态检索基准上验证了效果：嵌入质心的ℓ2距离降低了97–99%，意味着两种模态在空间上几乎重合。

全变差相似度（Total Variation similarity）源自概率分布之间的全变差距离，对离散分布 $p, q$ 定义为 $TV(p,q) = \frac{1}{2}\sum_i |p_i - q_i|$，取值在 0 到 1 之间，等价于 $1 - \sum_i \min(p_i, q_i)$。与余弦相似度只关心向量夹角不同，全变差直接比较两个分布在每个维度上的质量重叠，对单纯形上的点尤其自然：它衡量的是“概率质量有多少被共享”。在检索任务中，这意味着相似度分数具有明确的概率解释，并且对分布的稀疏程度、尾部质量变化比内积更敏感。实际计算只需逐元素的绝对差求和，复杂度与余弦相似度同阶，因此适配成本很低。

性能不降反升的实证

几何对齐并未牺牲检索性能。论文报告称，单纯形约束模型的检索表现与标准无约束模型持平或更优。这暗示模态鸿沟的缩小并非通过损失语义信息实现，而是通过更合理的几何结构释放了表示潜力。

该方法的优势在于纯几何、模型无关：它不依赖特定的对比损失或网络架构，可插拔地应用于现有CLIP/CLAP类模型。对于需要跨模态检索的应用（如图文搜索、音频-文本匹配），这意味着更紧凑的嵌入空间和潜在更鲁棒的泛化能力。

模态鸿沟（modality gap）是近年来多模态表示研究中的一个实证发现：即便对比学习目标只要求匹配样本对靠近、不匹配样本对远离，训练后的图像嵌入与文本嵌入仍会分别聚集在单位球的两个窄锥内，两个质心之间存在稳定夹角。已有工作指出，这一现象与对比损失的对称性、温度系数以及初始化有关，且难以通过继续训练消除。本文的贡献在于指出该鸿沟本质上是几何选择的结果——球面允许模态分离而不受惩罚，而单纯形的非负约束排除了这种退化解，因此缩小鸿沟不需要额外损失项或后处理对齐，只需更换嵌入所在的约束面。

局限与展望

论文目前仅在检索任务上验证，尚未涉及生成任务或零样本分类。单纯形约束是否会限制嵌入的表达自由度，以及在全变差相似度下的训练稳定性，仍需更广泛实验。但这一思路为多模态表示学习提供了新视角：与其在球面上追赶，不如换一个几何空间，让对齐自然发生。