概念Large Audio Language Model / 大型音频语言模型
LALM
大型音频语言模型(LALM)是一类能够处理音频输入并进行语言理解和生成的多模态模型,通常由音频编码器、语言模型和语言模型头组成,可执行语音识别、情感识别等任务。
时间轴 (近 90 天)
10月19日
VocalGrad 研究显示,当前最先进的 LALM 在剥离语义推理的纯声学感知方向性二分类任务上准确率接近随机猜测。
待验证50%
10月19日
通过线性探针分析,VocalGrad 研究发现 LALM 存在两种失败模式:表征存在但 LM head 未利用,以及信息在层间传播中逐渐不可线性解码。
待验证50%
10月19日
LM head 是大型音频语言模型中将内部表征映射为文本词元概率分布的最后一层解码模块。
待验证50%