双任务向量合并：用情感与ASR知识提升阿尔茨海默病低资源检测

从语音中检测阿尔茨海默病（AD）同时依赖副语言和语言线索，但模型训练常受限于数据不足。微调大型预训练语音编码器容易过拟合，而冻结探针又未能充分利用编码器中的任务相关知识。一篇新论文提出双任务向量合并（Dual Task Vector Merging），一种参数高效的方法，通过注入情感和ASR任务的知识来适配冻结的wav2vec 2.0主干，在低资源场景下显著提升AD检测性能。

论文来源截图

问题背景：AD语音检测的数据困境

AD语音检测面临典型的小样本挑战。ADReSS和ADReSSo等常用数据集规模有限，直接微调大型预训练模型（如wav2vec 2.0）极易过拟合；若完全冻结编码器只训练分类头，又浪费了编码器中蕴含的丰富语音知识。现有参数高效微调方法如LoRA虽能缓解部分问题，但并未针对AD任务引入外部先验知识。

论文的核心洞察是：情感识别和自动语音识别（ASR）任务与AD检测共享部分语音表征基础。情感任务捕捉副语言特征（如韵律、音质），ASR任务捕捉语言内容，二者恰好对应AD检测所需的两个信息维度。若能将这些任务的知识以轻量方式注入AD模型，有望在数据稀缺时提供有效正则化。

方法解析：任务向量如何合并

任务向量的构造

任务向量（task vector）指微调前后模型权重的差值，编码了特定任务上学到的知识。作者分别用情感数据集和ASR数据集微调wav2vec 2.0，计算每个Transformer层的权重增量，得到两个任务向量。

**wav2vec 2.0 是 Meta（原 Facebook）于 2020 年提出的自监督语音表征模型。它由多层卷积特征编码器与 12 层（base 版）或 24 层（large 版）Transformer 组成，先在海量无标注语音上通过对比学习预测被掩码的语音段，从而学到通用的语音表征。其关键特性是：即使不做任何微调，中间层输出也已被证明能线性探测出音素、说话人、情感等多种信息，这正是在低资源任务中把它当作冻结主干的依据。本文所用主干即 wav2vec 2.0 base，其每个 Transformer 层的输出维度为 768，任务向量即作用在这些层上。

逐层合并与极低参数更新

在AD训练阶段，冻结wav2vec 2.0主干，将两个任务向量按逐层可学习的合并系数注入每个Transformer层。整个训练过程仅优化这些合并系数和一个线性分类头，可训练参数不到全量微调的0.1%。这种设计既保留了预训练编码器的通用能力，又以极低成本引入了情感和ASR的任务知识。

LoRA（Low-Rank Adaptation） 是一种主流的参数高效微调方法。它不改动预训练权重，而是在每个权重矩阵旁并联一对低秩矩阵 A（降维）和 B（升维），前向时输出为原权重结果加上 B·A·x。由于秩 r 通常取 4~16，新增参数量极少，且推理时可将 B·A 合并回原权重、不增加延迟。本文将其与任务向量合并并列比较或组合使用：任务向量负责注入情感与 ASR 的外部先验，LoRA 负责学习 AD 任务特有的适配方向，二者作用机制不同，因而具有互补性。

实验结果：全面超越基线

二分类主实验

在ADReSS和ADReSSo上的说话人独立实验显示，双任务向量合并优于冻结探针、LoRA和全量微调。与LoRA结合时效果最佳，说明两种参数高效方法具有互补性——任务向量提供外部知识先验，LoRA提供任务特定的适配能力。

三分类与低资源验证

在PROCESS数据集上，该方法与LoRA配对后，优势可迁移到HC/MCI/痴呆三分类任务。更重要的是，在仅使用20%、40%、80%训练数据的缩减实验中，性能增益稳定存在，证实了其在低资源场景下的可靠性。

ADReSS、ADReSSo 与 PROCESS 的差异值得说明。ADReSS 与 ADReSSo 是 INTERSPEECH 系列挑战赛数据集，均为二分类（AD vs. 健康对照），且强调说话人独立划分以避免同一说话人同时出现在训练与测试集导致乐观偏差。PROCESS 则是更大规模的多分类语料，标注了健康对照（HC）、轻度认知障碍（MCI）与痴呆三级，更贴近临床筛查的真实需求——因为 MCI 是 AD 的前驱阶段，能否区分 MCI 与早期痴呆正是早期识别的关键难点。三分类难度显著高于二分类，故该结果对方法的泛化能力是更强的证据。

实践启示

这项工作的价值在于提供了一种通用思路：当目标领域数据不足时，可以从相关任务中提取任务向量作为知识注入源，而非从头微调。合并系数逐层学习的设计也带来可解释性——不同层对情感和ASR知识的依赖程度可能揭示AD语音特征的层级分布。对资源有限的AD语音研究团队而言，该方法在保持极低训练成本的同时打开了利用外部任务知识的通道。

未来值得探索的方向包括：更多源任务（如抑郁检测、发音障碍识别）的组合，以及任务向量合并与更大规模语音基础模型的兼容性。