OmniCompass：全模态视频理解基准如何评测50个MLLM

多模态大语言模型（MLLM）在视频理解上的能力正在快速演进，但如何系统性地衡量它们"到底看懂了什么"，却一直缺少一把足够完整的尺子。近期发布的一项研究提出了 OmniCompass——一个面向全模态视频定位与理解的整体性基准，试图补齐现有评测在音频、时空定位与跨模态一致性上的空白。

为什么现有的视频理解基准不够用

当前主流的视频理解评测大多聚焦于单一维度：有的偏向视频问答，有的只考察时序定位，有的则完全依赖视觉信号而忽略音频。这种割裂导致研究者很难判断一个模型究竟是"看懂了画面"、"听懂了声音"，还是仅仅在语言层面蒙对了答案。

OmniCompass 的核心判断是：全模态视频理解需要同时回答三个问题——目标何时出现、在哪里、以及发生了什么。只有当评测覆盖这三个互补维度，并同时考察视觉与听觉证据的联合使用，才能对模型做出系统诊断。

全模态（Omni-modal） 指模型能够同时接收并联合处理文本、图像、视频、音频等多种模态的输入信号，而非仅依赖其中一种或少数几种。与之相近的概念是「多模态（Multimodal）」，但全模态通常强调覆盖的模态范围更广，尤其要求音频与视觉信号在同一推理过程中被真正融合，而不是简单地做特征拼接。

全模态理解的技术难点在于跨模态对齐：模型需要建立音频事件（如玻璃破碎声、关门声）与画面内容之间的语义对应关系，并在此基础上完成定位或问答。当前多数 MLLM 的音频编码器与视觉编码器在预训练阶段相互独立，导致联合推理时容易退化为「优先信任某一模态」。这正是 OmniCompass 区分 VL 与 AV 两条轨道、并单独考察音视频任务的原因所在。

两条评测轨道与三类任务

OmniCompass 设计了两条并行的评测轨道，区分模型是否具备音频处理能力。

OmniCompass-VL 面向视觉-语言模型，任务所需的证据全部来自视觉信息。OmniCompass-AV 则面向全模态模型，要求模型联合使用音频与视觉证据作答。

每条轨道都包含三类互补任务：

• 时序定位（TG）：判断被引用目标在视频中的出现时间
• 空间定位（SG）：判断目标在画面中的空间位置
• 问答（QA）：理解事件本身的内容

QA 部分进一步细分。在 OmniCompass-VL 中，问答覆盖 5 个感知类别与 3 个推理类别；在 OmniCompass-AV 中，则覆盖 3 个感知类别与 2 个推理类别。这种分类让评测可以区分"看得见/听得见"与"想得清楚"这两种不同层次的能力。

时序定位（Temporal Grounding, TG） 要求模型输出被引用目标在视频中出现的时间区间，通常以起止时间戳表示，评价指标常采用 IoU（交并比）或 mIoU。它检验的是模型能否把语言描述锚定到连续时间轴上的正确片段，而非仅仅判断「视频里有没有某物体」。

空间定位（Spatial Grounding, SG） 则要求模型给出目标在画面中的位置，通常以边界框（bounding box）表示，评价指标常用 IoU 或准确率。它与时序定位互补：前者回答「何时」，后者回答「何处」。两者都对模型的细粒度感知能力提出高要求，也是当前 MLLM 表现最薄弱的环节之一。

问答（QA） 关注事件内容本身，属于相对粗粒度的语义理解，又细分为感知类（识别对象、属性、动作）与推理类（因果、意图、时序逻辑），从而把「看得见/听得见」与「想得清楚」两种能力分开衡量。

数据构成与配对评测设计

在数据规模上，OmniCompass-VL 包含 820 个视频、2460 个实例，覆盖多个领域以及短、中、长三种时长类型。其中叙事丰富、音频信息充足的子集构成了 OmniCompass-AV，共 240 个视频、720 个实例。

一个值得关注的设计是"配对评测"。每个实例都在两种设置下被评估：纯文本（text-only）与文本+图像（text+image），两者指向同一个目标，但分别通过文字描述和视觉-语言引导来指定。这样一来，模型是否真正理解了目标的指代，而不是依赖某一种提示形式走捷径，就能被直接检验。所有实例均经过人工标注与多轮质量校验。

50 个 MLLM 的评测揭示了什么

研究者对 50 个 MLLM 进行了评测，结果呈现出几个清晰结论。

开源模型整体仍落后于闭源模型，这一差距在音视频理解任务上尤为明显。音频信息的引入并不只是增加一个输入通道，它对模型的跨模态对齐能力提出了更高要求，而这恰是当前开源模型的短板。

精确的时序与空间定位依然困难。即便在领先模型上，准确指出目标"何时"出现、"在哪里"，仍是尚未解决的核心挑战。这说明模型在粗粒度的语义理解上表现尚可，但在需要精确定位的任务上仍有明显缺口。

配对设置下预测不一致。同一个目标用纯文本描述、或用文本+图像引导时，模型的预测会出现不一致。这暴露了一个深层问题：模型对目标的理解并不稳定，可能在很大程度上依赖提示形式而非真正的多模态语义。

配对评测（paired evaluation） 是一种控制变量的实验设计：同一个目标实例分别以纯文本描述和文本+图像两种形式呈现给模型，若模型在两种设置下给出相互矛盾的预测，说明它对目标指代的理解不稳定，可能依赖提示的表面形式而非真正的多模态语义理解。

这一思路借鉴了自然语言处理中「鲁棒性探针」的传统——通过改变输入的表达方式而不改变其语义，来检验模型是否学到了真正的概念表征。在视频理解场景中，配对的两种提示分别施加了语言引导与视觉-语言引导，因此预测不一致往往指向跨模态对齐或指代消解层面的缺陷，而非单纯的知识缺失。这种设计使评测结论更具诊断价值。

这个基准意味着什么

OmniCompass 的价值不在于给出一个新的排行榜，而在于它把"全模态视频理解"拆解成了可诊断的维度。音频是否真的被用上、时空定位是否精确、跨模态指代是否稳定——这些问题被放在同一个框架下并列考察。

对于模型开发者而言，这种设计提供了更细的失败定位：模型答错时，可以判断问题是出在听觉融合、空间感知，还是提示形式依赖。对于评测研究者而言，配对评测的思路也提供了一种检验模型鲁棒性的可复用范式。全模态理解还远未解决，但至少现在有了更完整的坐标系。