TID团队Speech-COSER挑战赛ASR系统：LoRA课程学习+剪枝集成

在Speech-COSER Challenge 2026的ASR赛道中，Telefónica Innovación Digital（TID）提交了一套针对农村老年人群自发语音的识别系统。这类语音数据因口音重、语速不规律、录音条件有限，一直是ASR的难点。TID的方案没有堆叠复杂模型，而是围绕数据质量筛选和参数高效微调做文章，最终七系统ROVER集成在未归一化和归一化测试集上分别取得36.25%和22.17%的WER。

挑战背景：农村老年自发语音的识别难点

Speech-COSER Challenge 2026聚焦西班牙农村地区老年说话人的自发语音。与朗读式语音不同，自发语音包含大量停顿、重复、非流利表达，加上老年说话人的发音变化和方言影响，对ASR系统的鲁棒性提出很高要求。TID在系统描述中指出，正是这些特性促使他们放弃常规的端到端微调，转而从训练数据匹配度和模型泛化能力两方面入手。

核心方法：CTC伪强制对齐驱动的两阶段LoRA课程

TID方案的第一层设计是用CTC-based伪强制对齐（pseudo-forced alignment）为每条音频-文本对打分，衡量两者的匹配质量。这个分数随后被用来组织两阶段的LoRA课程学习：先让模型在匹配度较高的数据上稳定适应，再逐步引入匹配度较低、噪声更大的样本。

课程学习的思路并不新鲜，但TID把“课程”的排序依据落在了音频与文本的强制对齐得分上，而非简单的损失值或样本长度。这种做法相当于用CTC模型自身的能力先做一轮数据清洗，把明显错配的样本延后处理，降低低质量数据对LoRA微调的干扰。

CTC（Connectionist Temporal Classification） 是一种常用于语音识别训练的损失函数与解码框架，其核心优势在于无需帧级对齐标注即可训练序列模型。伪强制对齐（pseudo-forced alignment）则是在已有转录文本的条件下，利用CTC模型计算音频与文本之间的最优对齐路径，并由此导出每个样本的匹配得分（如平均后验概率或对齐置信度）。得分越高，说明音频与文本越可能对应；得分低则暗示转写错误、切分错位或噪声干扰。TID正是用这一得分作为课程排序信号，先在高置信样本上微调，再逐步纳入低置信样本，从而减少噪声数据对LoRA适配矩阵的早期干扰。

LoRA（Low-Rank Adaptation） 是一种参数高效微调方法，它冻结预训练模型的主体权重，仅在Transformer的注意力投影等层旁路注入可训练的低秩矩阵（A和B），通过低秩分解近似权重更新。相比全量微调，LoRA大幅减少可训练参数量与显存占用，且适配矩阵可独立保存与切换。在挑战赛数据规模有限、域偏移明显的场景下，LoRA既能避免灾难性遗忘，又便于后续对适配矩阵做剪枝等后处理。

后处理：LoRA矩阵幅值剪枝提升泛化

两阶段LoRA微调之后，TID对LoRA矩阵做了事后幅值剪枝（post-hoc magnitude pruning）。LoRA本身只训练低秩适配矩阵，参数量远小于全量微调，但这些矩阵中仍可能存在冗余。通过剪掉幅值较小的权重，团队希望在保持适配能力的同时减少过拟合，提升模型在挑战赛测试集上的泛化表现。

剪枝发生在训练完成后，属于后处理步骤，不改变原有训练流程。对于数据规模有限、域偏移明显的挑战赛场景，这种轻量后处理是一种性价比较高的正则化手段。

集成策略：七系统ROVER融合

最终提交的系统由七个模型通过ROVER（Recognizer Output Voting Error Reduction）组合。ROVER通过对多个系统的输出做对齐和投票来生成最终转录，能够在一定程度上抵消单个系统的随机错误。TID没有在摘要中披露七个系统的具体差异（如不同随机种子、不同课程阶段或不同剪枝比例），但七路集成带来的收益直接体现在最终WER上：未归一化36.25%，归一化22.17%。

归一化与未归一化WER之间存在明显差距，说明文本归一化（如数字、标点处理）对该测试集影响较大，这也是自发语音评测中常见的现象。

ROVER（Recognizer Output Voting Error Reduction） 是一种经典的ASR系统集成算法。它先将多个系统的输出转录按词级对齐构建一个词混淆网络（word confusion network），再在每个对齐位置上按出现频次投票选择最终词。ROVER对系统间的互补性较为敏感：若各系统错误模式差异大，投票能有效抵消随机错误；若系统高度同质，收益则有限。TID的七系统集成未披露具体差异来源，但通常可通过不同随机种子、不同课程阶段检查点或不同剪枝比例来制造多样性。

WER（Word Error Rate） 是ASR评测的核心指标，计算为（替换+删除+插入错误数）/参考词总数。归一化WER指在评分前对参考文本和系统输出统一做文本规范化（如数字转写、标点去除、大小写统一），未归一化WER则保留原始格式差异。两者差距大通常反映系统在格式层面而非语义层面出错较多，这在自发语音和口语化文本中尤为常见。

方法启示：小数据场景下的务实选择

TID的系统没有引入新模型架构，而是把重点放在数据筛选、参数高效微调和后处理剪枝上。对于面向特定人群、数据采集条件受限的ASR任务，这种组合策略提供了一个可复用的思路：先用对齐得分筛数据，再用LoRA控制微调成本，最后用剪枝和集成稳住泛化。36.25%的未归一化WER说明任务本身仍有较大挑战，但22.17%的归一化结果展示了这套流程的有效性。

（注：本文方法细节均来自TID系统描述，集成中七个系统的具体配置未在原始材料中展开。）