概念语言模型头
LM head
LM head 是语言模型中将内部表征映射为词元概率分布的最后一层解码模块，在音频语言模型中负责将编码后的特征转换为文本输出。
时间轴 (近 90 天)
10月19日
通过线性探针分析，VocalGrad 研究发现 LALM 存在两种失败模式：表征存在但 LM head 未利用，以及信息在层间传播中逐渐不可线性解码。
待验证50%
10月19日
LM head 是大型音频语言模型中将内部表征映射为文本词元概率分布的最后一层解码模块。
待验证50%
LM head 是语言模型中将内部表征映射为词元概率分布的最后一层解码模块，在音频语言模型中负责将编码后的特征转换为文本输出。
通过线性探针分析，VocalGrad 研究发现 LALM 存在两种失败模式：表征存在但 LM head 未利用，以及信息在层间传播中逐渐不可线性解码。
LM head 是大型音频语言模型中将内部表征映射为文本词元概率分布的最后一层解码模块。