模态鸿沟

多模态对比模型（如CLIP和CLAP）的嵌入空间存在模态鸿沟，图像和文本的嵌入向量在单位球上各据一方，难以对齐。

模态鸿沟是实证发现：训练后的图像嵌入与文本嵌入分别聚集在单位球的两个窄锥内，两个质心之间存在稳定夹角。

已有工作指出模态鸿沟与对比损失的对称性、温度系数以及初始化有关，且难以通过继续训练消除。

本文贡献在于指出模态鸿沟本质上是几何选择的结果：球面允许模态分离而不受惩罚，单纯形的非负约束排除了这种退化解。