Qwen-Audio-Jev：统一音频决策接口，推理提速20倍

大型音频语言模型（LALM）在音频理解上进步显著，但在需要频繁选择、判断和打分的高吞吐场景中，自回归文本生成带来了额外的计算开销和响应延迟。Qwen 团队给出的解法是 Qwen-Audio-Jev——通过在 Qwen-Audio-3.1-ASR-Flash-Next 上增加一个专用的 Jev 决策头，把音频决策从"生成文本再解析"变成"直接输出决策"。

Qwen-Audio-Jev 来源页面

核心思路：用三个决策原语替代文本生成

传统做法是让音频语言模型生成一段自然语言回答，再从中解析出选项、判断或分数。这套流程在单次交互里没问题，但放到大规模音频筛选、批量质检这类场景，每次都跑一遍自回归解码，成本会迅速放大。

Qwen-Audio-Jev 的做法是把决策任务收敛为三个原语：CHOICE（从候选中选择）、NOUL（二元判断）、SCORE（数值打分）。给定音频、自然语言问题和明确的答案规格，模型直接产出任务条件下的概率分布或数值分数，通过类型化的决策读出口（typed decision readouts）返回结果，跳过了文本生成这一中间环节。

这个设计的价值在于：它没有推翻原有的音频理解能力，而是在其上叠加了一个轻量的决策层。底层模型仍然负责理解音频和问题，决策头只负责把理解结果映射成可用的决策输出。

自回归文本生成指的是模型逐个 token 预测并输出完整文本序列的解码方式，每一步都依赖前一步的输出。LLM 的回答、翻译、总结本质上都是这样生成的。这种方式的代价在于：即便最终只需要一个标签（比如“是/否”或某个选项），模型也得先把整句话逐字生成完，再通过后处理解析出结果。当问答变成批量筛选、质检这类高频请求时，逐 token 解码的累积开销会成为主要瓶颈。Qwen-Audio-Jev 的核心改进正是绕开这段生成过程，直接从模型内部表示映射到结构化决策输出。

三个原语的实际表现

论文在 18 组标注配置上做了评估，覆盖全部三个原语。

CHOICE 方面，Qwen-Audio-Jev 在 MMAU-mini 上达到 78.70% 的准确率，在 MMSU 上达到 84.06%。这两个基准都考察模型从多个选项中选出正确答案的能力，属于典型的音频理解型任务。

NOUL 方面，在 VoxCeleb1-O 说话人验证基准上，等错误率（EER）为 6.50%。说话人验证是二元判断的经典场景——两段音频是否来自同一说话人，模型直接给出判断而非生成一段解释。

SCORE 方面，在 NISQA 整体质量评估上，归一化平均绝对误差为 0.1062，Pearson 相关系数 0.8210，Spearman 相关系数 0.8074。这意味着模型对音频质量的打分与人工评分保持了较高的相关性。

20 倍提速从何而来

相比原始的 Qwen-Audio-3.1-ASR-Flash-Next，Qwen-Audio-Jev 实现了约 20 倍的推理加速。

这个数字需要放在具体语境中理解。加速的来源不是模型变小或精度降低，而是消除了自回归文本生成的开销。在原始架构下，即使问题只是"这段音频是否属于同一说话人"，模型也要逐 token 生成完整回答；而决策头直接输出概率分布或分数，计算路径大幅缩短。对于需要处理成千上万条音频的应用来说，这种差异直接决定了方案是否可落地。

适用场景与局限

论文明确指向三类应用：大规模音频筛选、说话人验证、自动化质量评估。这三个场景的共同特征是——决策类型固定、需要批量处理、对延迟敏感。

需要注意的是，这种"决策头"模式的前提是答案规格足够明确。如果问题本身是开放式的、需要生成解释或推理过程，文本生成仍然是必要的。Qwen-Audio-Jev 解决的是"决策"问题，不是"理解"问题——它让模型在已经理解的基础上快速给出答案，而不是替代理解本身。

另外，评估集中在英文基准上，多语言场景下的表现还有待验证。CHOICE 原语在 MMAU-mini 上 78.70% 的准确率也说明，音频选择任务本身仍有提升空间。

**决策头（decision head）**是神经网络中接在主干模型之后的一个轻量输出模块，负责把主干提取的表示映射为特定任务所需的输出形式。在分类任务中它通常是一个线性层加 softmax，在回归任务中是线性输出。与生成式解码不同，决策头的计算只涉及一次前向传播，不需要逐步生成 token。Qwen-Audio-Jev 的 Jev 决策头正是这种结构：底层 Qwen-Audio 模型继续负责音频与文本的理解，决策头根据 CHOICE、NOUL、SCORE 三类任务规格，直接读出对应的概率分布或数值。这种“理解与决策分离”的设计使得主干模型无需重新训练，只需在输出端增加少量参数即可支持新的决策类型。

背景补充

**等错误率（EER）**是说话人验证、生物识别等二元判断任务的标准指标。它指的是在某个判定阈值下，错误拒绝率（把同一说话人误判为不同）与错误接受率（把不同说话人误判为同一）相等时的错误比例。EER 越低，说明系统在“敏感”与“保守”之间的平衡点越理想。需要注意的是，EER 并非固定阈值下的准确率，而是一个综合衡量两类错误权衡关系的指标，因此常被用来横向比较不同验证系统的判别能力。VoxCeleb1-O 是说话人验证领域常用的评测集，包含大量真实场景下的短语音片段。

归一化平均绝对误差（normalized MAE）、Pearson 相关系数和 Spearman 相关系数是评估打分类任务的三个常用统计量。MAE 衡量预测分数与人工参考分数之间的平均偏差，归一化后便于跨数据集比较；Pearson 相关系数刻画预测值与参考值之间的线性相关程度，越接近 1 说明线性趋势越一致；Spearman 相关系数则基于排序，衡量两者在名次上的一致性，对非线性单调关系更稳健。NISQA 是语音质量评估的代表性数据集，人工评分通常来自主观听感实验，因此这三个指标共同反映了模型打分与人类感知的接近程度。