[控场AI]
基准OmniCompass 基准

OmniCompass

面向全模态视频定位与理解的整体性基准,区分为视觉-语言模型与全模态模型两条评测轨道,覆盖时序定位、空间定位与问答三类任务,用于系统诊断多模态大模型的视频理解能力。

时间轴 (近 90 天)

10月14日

OmniCompass 是一个面向全模态视频定位与理解的整体性基准,包含 OmniCompass-VL 和 OmniCompass-AV 两条并行评测轨道。

待验证50%
10月14日

OmniCompass 的核心设计理念是要求全模态视频理解同时覆盖三个维度:目标何时出现、在哪里、以及发生了什么,并同时考察视觉与听觉证据的联合使用。

待验证50%
10月14日

OmniCompass 每条轨道包含三类互补任务:时序定位(TG)、空间定位(SG)和问答(QA)。

待验证50%
10月14日

OmniCompass 采用配对评测设计:每个实例在纯文本(text-only)与文本+图像(text+image)两种设置下被分别评估,以检验模型是否真正理解目标指代而非依赖提示形式走捷径。

待验证50%
10月14日

所有 OmniCompass 实例均经过人工标注与多轮质量校验。

待验证50%

全部知识事实 (5)

来源文章