待验证50% 置信事实精确时间

当前多数 MLLM 的音频编码器与视觉编码器在预训练阶段相互独立，导致联合推理时容易退化为优先信任某一模态。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/14

首次发现

有效期至：2027/1/12

来源

OmniCompass：全模态视频理解基准如何评测50个MLLM

涉及实体

相关事实

待验证身份漂移和跨模态错位是当前前沿 MLLM 在音频-视觉字幕任务中最突出的两个薄弱环节。70% 相似已验证Whisper、Wav2Vec 2.0等模型通过自监督预训练在海量无标注音频上学习通用声学表示，降低对人工标注数据的依赖70% 相似待验证在语音识别中，编码器权重通常对量化更敏感，而解码器对精度损失的容忍度相对更高68% 相似待验证编解码器模拟能覆盖可预测、可参数化的信道层面失真，但无法解决背景噪声组合、自然语音重叠和情绪化声学偏移67% 相似待验证声音克隆通过说话人编码器将声音映射为高维嵌入向量，说话人编码器训练通常采用对比学习或三元组损失66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1028079

API

curl https://kongchang.com/api/v1/knowledge/claims/1028079

MCP

get_claim(id=1028079)