CLIP与SigLIP对比：视觉编码器训练范式的核心差异解析

在视觉语言模型(VLM)能够执行图像分类、视频问答等任务之前,输入的图像或视频必须被转换成模型能够"理解"的表示形式。

视觉语言模型(Vision-Language Model, VLM)是当前多模态AI领域的核心技术方向,代表着机器同时理解视觉和语言信息的能力。与传统的单模态模型不同,VLM能够处理图像、视频等视觉输入,并结合文本信息进行推理。典型应用包括图像字幕生成(Image Captioning)、视觉问答(Visual Question Answering, VQA)、图文检索等任务。近年来,随着CLIP、Flamingo、LLaVA等模型的突破,VLM展现出了强大的零样本迁移能力和跨模态理解能力,成为通用人工智能(AGI)研究的重要方向。VLM的核心挑战在于如何有效地将视觉信息映射到语言模型的语义空间,这正是视觉编码器所要解决的关键问题。

承担这一关键任务的正是视觉编码器(Vision Encoder)。有趣的是,尽管当今主流视觉编码器在底层架构上高度相似(几乎都是基于Transformer),但它们真正的差异并不在于模型结构,而在于训练目标。本文将深入对比两种代表性的视觉编码器训练范式:CLIP 与 SigLIP。

视觉编码器:VLM 的"眼睛"

视觉编码器的核心职责,是将图像转换为 VLM 能够处理的数值化表示。目前绝大多数视觉编码器都建立在 Transformer 架构之上:模型会将一张图像切分为若干个图块(patches),再将每个图块转化为向量化的视觉嵌入(visual embedding)。

Transformer最初由Google在2017年提出用于自然语言处理,其核心是自注意力机制(Self-Attention)。2020年,Vision Transformer(ViT)的出现标志着Transformer成功进军计算机视觉领域。ViT将图像切分为固定大小的图块(通常是16×16或14×14像素),每个图块被展平并通过线性投影转换为嵌入向量,这些向量序列随后输入Transformer编码器进行处理。与传统的卷积神经网络(CNN)相比,ViT能够建模全局依赖关系,避免了CNN的感受野限制。这种架构在大规模预训练后展现出卓越性能,成为当前视觉编码器的主流选择。值得注意的是,ViT需要大量数据才能达到最佳效果,这也促使了对比学习等高效预训练方法的发展。

在得到这些嵌入之后,许多 VLM 会通过一个投影器(projector)——通常是一个线性层或 MLP——将图像嵌入的维度映射到大语言模型(LLM)所期望的维度空间,从而完成视觉信息与语言模型的对接。

既然大多数视觉编码器共享相同的模型设计,那么真正让它们彼此不同的关键因素是什么?答案不在架构,而在于它们是如何被训练的。这正是理解 CLIP 与 SigLIP 差异的出发点。

CLIP:对比学习的经典范式

CLIP 全称为 Contrastive Language-Image Pre-training(对比式语言-图像预训练),它通过图像与文本的配对来学习理解图像。其核心目标是:将匹配的图像与描述文本"拉近",同时将不匹配的图文对"推远"。

对比学习(Contrastive Learning)是一种自监督学习范式,其核心思想是"拉近相似样本,推远不相似样本"。在数学上,对比学习通常采用InfoNCE损失函数,该函数源于噪声对比估计(Noise Contrastive Estimation)理论。给定一个正样本对和多个负样本,模型需要最大化正样本对的相似度,同时最小化与负样本的相似度。这种方法无需人工标注,能够从大规模无标签数据中学习到有意义的表示。在计算机视觉领域,SimCLR、MoCo等方法通过数据增强生成正负样本对;而在多模态领域,CLIP利用图文天然配对关系,避免了复杂的样本构造过程。对比学习的成功关键在于负样本的质量和数量——更多样化的负样本能够帮助模型学习更精细的区分能力。

双塔架构与相似度矩阵

CLIP 依赖一套典型的"双塔(two tower)"系统:一个预训练的视觉编码器(如 ViT)和一个预训练的文本编码器。图像经过 ViT 产生对应的向量嵌入,文本描述则经过文本编码器得到相应的文本嵌入。

基于这些配对,模型构建出一个相似度矩阵,将每一个图像嵌入与每一个文本嵌入进行两两比较。矩阵中的每个单元格存储的是图文对之间的余弦相似度(cosine similarity)。

余弦相似度是衡量高维向量空间中两个向量方向相似程度的度量方法,计算公式为cos(θ) = (A·B)/(||A||×||B||),取值范围为[-1,1]。在深度学习的嵌入空间中,余弦相似度比欧氏距离更适合衡量语义相似性,因为它关注的是向量的方向而非长度。当两个嵌入向量指向相同方向时(余弦相似度接近1),表示它们在语义上高度相关;方向垂直时(接近0)表示无关;方向相反时(接近-1)表示语义对立。在CLIP等模型中,通过学习将语义相近的图文对映射到嵌入空间的相近方向,模型实现了跨模态的语义对齐。值得注意的是,使用余弦相似度前通常需要对向量进行L2归一化,这样点积运算就等价于余弦相似度计算,简化了实现。

对比学习的机制与局限性

CLIP 随后在整个矩阵上应用对比学习。从高层次看,这种对比学习类似于沿矩阵的行和列分别计算类别交叉熵。通过 softmax 函数,模型试图为匹配的"图像-文本"对以及"文本-图像"对分配最高的概率。

CLIP 的强大之处在于,它将学习从简单的标签映射,转向了更深层次的语义理解,从而实现了零样本分类(zero-shot classification)——即便是训练中从未明确见过的类别也能识别。

零样本学习(Zero-shot Learning)是指模型能够识别或处理训练时从未见过的类别的能力,这是通用人工智能的重要标志之一。传统的监督学习模型只能在预定义的类别集合上工作,面对新类别必须重新训练。而CLIP等模型通过学习图像和文本的联合嵌入空间,能够理解自然语言描述的任意新类别。例如,即使训练数据中没有'雪豹'的图片,只要模型见过'豹子'、'雪'等相关概念,它就能通过文本提示"a photo of a snow leopard"来识别雪豹图像。这种能力源于语言的组合性和泛化性——自然语言能够描述无限多的概念组合,而视觉编码器通过与语言对齐,继承了这种泛化能力。零样本学习大大降低了AI系统的部署成本,使模型能够快速适应新场景而无需额外标注数据。

然而,CLIP 也引入了一个特定的结构性问题:样本之间会在训练批次内相互竞争。试想,如果一个批次中存在多个文本描述其实都与某张图像合理匹配,会发生什么?由于 softmax 的全局归一化机制,这些本应"都对"的样本被迫互相排斥,反而可能损害学习效果。

Softmax函数是神经网络中最常用的多分类激活函数,它将任意实数向量转换为概率分布。其数学形式为softmax(xi) = exp(xi)/Σexp(xj),确保所有输出和为1且非负。在CLIP中,softmax作用于相似度矩阵的行或列,强制模型在所有候选项中选出最匹配的一个。然而,这种全局归一化带来了一个内在矛盾:当批次中存在多个合理的正样本对时(例如同一图像的不同文本描述),softmax的归一化约束会人为地降低这些正样本的概率,因为它们的概率和必须为1。这种"赢者通吃"的竞争机制可能导致模型学习到次优的表示。此外,softmax需要在整个批次上计算归一化项,这在分布式训练中会引入跨设备通信开销,限制了可扩展性。这些局限促使研究者探索替代方案,SigLIP的sigmoid损失正是这一探索的成果。

SigLIP:用 Sigmoid 重新定义训练目标

SigLIP 全称为 Sigmoid Loss for Language-Image Pre-training,它保留了 CLIP 的许多核心特征:同样拥有图像编码器和文本编码器,同样生成图文的嵌入表示,也同样将相似度分数映射到相似度矩阵之中。

两者真正的分野,在于损失函数的设计。

从"全局竞争"到"独立判断"

CLIP 通过在整个批次上应用 softmax 来学习图文相似性,导致潜在的匹配项彼此竞争。而 SigLIP 摒弃了这种全局归一化,转而将每一个图文对视为一次独立的二元预测。

通过对每一对的分数应用 sigmoid 函数,模型估计的是这张图像与这段文本是否匹配。换句话说,学习目标发生了根本性的转变:

• CLIP 的提问方式:在这些候选项中,哪一段文本描述了这张图像?
• SigLIP 的提问方式:这个特定的"图像-文本"配对是否是有效匹配——是,还是否?

Sigmoid函数σ(x)=1/(1+e^(-x))是神经网络中的经典激活函数,将实数映射到(0,1)区间,常用于二元分类任务。与softmax的多类互斥不同,sigmoid将每个预测视为独立的二元判断——"是"或"否"。在SigLIP中,每个图文对的相似度分数经过sigmoid后,被解释为该配对匹配的概率,与批次中其他样本无关。这种设计允许多个正样本同时获得高概率,避免了CLIP中的相互抑制问题。从损失函数角度,sigmoid配合二元交叉熵(Binary Cross-Entropy)能够独立优化每个样本对,而不需要全局归一化。这种局部性特征使得sigmoid损失天然适合并行计算——每个设备可以独立处理自己的样本子集,无需频繁的跨设备同步,这对于大规模分布式训练至关重要。

这一视角的转变看似微小,实则从根本上重新定义了优化任务的本质。每个样本不再被迫与批次内的其他样本竞争,而是被独立评判。

更高效的分布式扩展能力

由于 SigLIP 不再需要 CLIP 所依赖的 softmax 归一化,它的训练目标能够在大规模分布式系统上更高效地扩展。它移除了"每个样本都必须参与同一个共享归一化操作"这一硬性约束,这使得批次规模的扩大和跨设备的并行训练变得更加自然。

在现代深度学习中,分布式训练是处理大规模数据和模型的必要手段。典型的数据并行策略将训练批次分割到多个GPU或计算节点上,每个设备计算局部梯度后进行全局聚合。然而,CLIP的softmax损失要求在计算归一化项时访问整个批次的相似度分数,这意味着所有设备必须先交换中间结果,再进行全局归一化计算,最后才能计算损失和梯度。这种全局依赖性导致了显著的通信开销和同步延迟,成为扩展瓶颈。相比之下,SigLIP的sigmoid损失只需要每个样本对自身的信息,设备之间只需在反向传播时同步梯度即可,大大减少了通信需求。这种差异在训练规模扩大到数百个GPU和数十亿样本时尤为明显——SigLIP能够更线性地扩展,而CLIP的通信成本会随设备数增加而迅速上升,限制了有效批次大小和训练效率。

总结:结构相同,训练目标决定性能差异

CLIP 与 SigLIP 的对比,深刻揭示了一个在现代 AI 中反复出现的原则:决定模型能力的往往不是架构本身,而是训练目标的设计。

两者共享几乎相同的双塔架构和嵌入机制,唯一的区别在于损失函数——CLIP 采用基于 softmax 的对比损失,强调样本间的相对竞争;SigLIP 采用基于 sigmoid 的二元损失,强调每个配对的独立判断。这一改动带来了两个直接收益:既缓解了批次内多个合理匹配相互冲突的问题,又显著提升了分布式训练的可扩展性。

对于正在构建或选型视觉语言模型的开发者而言,理解这一差异有助于在实际场景中做出更明智的编码器选择。

核心要点

• 视觉编码器负责将图像转换为VLM可处理的向量表示,当前主流方案均基于Transformer架构
• CLIP和SigLIP在架构上高度相似,核心差异在于训练目标的设计
• CLIP使用softmax实现对比学习,通过全局归一化强制样本间竞争,可能导致合理匹配相互抑制
• SigLIP采用sigmoid将每个图文对视为独立的二元分类,避免了样本间的不必要竞争
• SigLIP的独立判断机制使其在大规模分布式训练中具有更好的可扩展性
• 训练目标的微小改变可以带来模型性能和训练效率的显著提升