概念音视频大语言模型 / Audio-Visual LLM

AV-LLM

能够同时处理和理解视觉画面与音频内容的多模态大语言模型，通常以单声道音频作为语义输入，具备声音识别与场景理解能力

时间轴 (近 90 天)

10月16日

当前大多数音视频大语言模型（AV-LLM）把音频当作单声道语义信息处理，只能识别声音内容而无法判断声源方位及其与画面中物体的关联。

待验证50%

10月16日

实验结果表明，现有AV-LLM在空间定位和关系推理方面仍存在明显局限，语义理解能力的提升不会自动带来空间理解能力。

待验证50%

当前大多数音视频大语言模型（AV-LLM）把音频当作单声道语义信息处理，只能识别声音内容而无法判断声源方位及其与画面中物体的关联。

实验结果表明，现有AV-LLM在空间定位和关系推理方面仍存在明显局限，语义理解能力的提升不会自动带来空间理解能力。