VICE：用视频-语言蕴涵实现概念级视频相似度估计

视频相似度估计是多媒体理解中的基础问题，但当前的大型多模态模型（LMM）大多针对单视频任务训练，直接比较两段视频时往往力不从心。近期一篇论文提出 VICE（Video Caption Entailment for video similarity estimation），通过双分支设计将跨视频比较转化为视频-语言蕴涵任务，在概念级相似度上超越了同时处理两段视频的模型。

为什么视频相似度估计需要新思路

传统方法多关注全局相似度，即两段视频整体上是否相似。但实际应用中，用户更关心的是特定概念维度上的相似性，比如两段视频的“活动”是否相同、“地点”是否一致。这种概念级相似度更具挑战性，因为它要求模型对视频内容进行细粒度解析，而不是简单比较整体特征。

现有 LMM 主要用单视频目标训练，缺乏跨视频推理能力。尽管已有研究引入概念级相似度问题，但尚未有工作专门利用 LMM 显式解决它。VICE 的目标就是填补这一空白。

大型多模态模型（LMM） 是指同时具备视觉和语言理解能力的大规模预训练模型，典型代表包括 GPT-4V、LLaVA、Qwen-VL 等。这类模型通常在图像-文本对或视频-文本对数据上训练，能够完成看图说话、视觉问答、视频描述生成等任务。然而，主流 LMM 的训练目标几乎都围绕单个视觉输入展开——输入一段视频或一张图像，输出对应的文本。模型在训练中很少见到“同时输入两个视觉样本并比较”的样本，因此其跨样本推理能力并未被显式优化。这正是 VICE 论文强调“LMM 原生单视频理解能力强、跨视频比较能力弱”的技术背景。理解这一点，才能明白为何将双视频比较拆解为两个单视频-文本判断是一种扬长避短的设计。

VICE 的核心设计：双分支蕴涵推理

VICE 采用双分支架构，每个分支处理一段视频和另一段视频的文本描述（caption）。具体来说，一个分支接收视频 A 和视频 B 的 caption，另一个分支接收视频 B 和视频 A 的 caption。每个分支通过视频-语言蕴涵（video-language entailment）判断两者在特定概念上是否对齐，输出一个对齐度量。

两个分支的结果随后融合，生成最终的相似度分数，同时模型还会给出文本形式的推理说明。这种设计充分利用了 LMM 原生的单视频理解能力，同时通过视频与文本的交叉比较实现细粒度推理。

关键洞察在于：与其让模型同时看两段视频（这对当前 LMM 来说很困难），不如让模型分别看一段视频并判断它是否“蕴涵”另一段视频的描述。蕴涵关系天然适合衡量概念对齐程度。

视频-语言蕴涵（video-language entailment） 借鉴自自然语言处理中的文本蕴涵（textual entailment） 任务。在 NLI（Natural Language Inference）中，系统需要判断给定前提（premise）与假设（hypothesis）之间是蕴涵、矛盾还是中立关系。将其迁移到视频-语言场景，前提变为一段视频，假设变为另一段视频的文本描述，模型需要判断视频内容是否“支持”该描述在特定概念维度上成立。蕴涵关系天然具有方向性和细粒度特性：它不要求整体相似，而是考察描述中的具体断言是否被视频证据所满足。这使得它比余弦相似度等全局度量更适合概念级对齐判断，也为双分支交叉验证（A 蕴涵 B 的描述、B 蕴涵 A 的描述）提供了理论基础。

实验表现：单视频推理优于双视频同时输入

论文在 ConViS-Bench 和 StepDiff 两个基准上进行了实验。结果显示，VICE 的性能超过了那些同时处理两段视频的模型。这一发现值得注意：它表明，对于概念级相似度估计，拆分处理再融合的策略比直接联合编码更有效。

这也侧面说明，当前 LMM 的跨视频推理能力仍有局限，而通过视频-语言蕴涵这种间接方式，可以绕开模型的结构性短板，发挥其在单视频理解上的优势。

ConViS-Bench 是专门用于评估视频概念级相似度的基准，覆盖活动、地点、物体等多个概念维度，要求模型判断两段视频在指定概念上是否一致。StepDiff 则侧重于对视频差异的细粒度感知与描述。这两个基准的共同特点是：不仅考察模型给出的相似度分数是否准确，还关注模型能否指出“在哪个概念上相似或不同”。VICE 在这两个基准上的优势，说明拆分式双分支设计在需要细粒度概念判断的场景中具有实际增益，而不仅仅是理论上的优雅。

对多模态研究的启示

VICE 的思路提供了一种可复用的范式：当模型不擅长直接比较两个复杂输入时，可以将其转化为模型更擅长的单输入任务加上关系判断。视频-语言蕴涵在这里充当了关系判断的桥梁。

此外，模型输出文本解释的能力增强了结果的可解释性，这对于视频检索、推荐系统等应用场景有实际价值。未来，这种双分支蕴涵设计或许可以扩展到更多跨模态比较任务中，比如图像-视频相似度或音频-视频对齐。

论文代码和更多细节尚未公开，但这一方向值得关注。