跨模态错位

OmniCapBench 能够诊断四类典型失败模式：时序定位失败、身份漂移、跨模态错位和幻觉描述。

身份漂移和跨模态错位是当前前沿 MLLM 在音频-视觉字幕任务中最突出的两个薄弱环节。

跨模态错位指模型将音频信息错误地绑定到视觉信息上，例如画面中 A 在说话但音频中发声的是 B，模型却描述为 A 在说话。