财经语音ASR需要持续学习正则化吗？EWC与mini-KFAC实证研究

一个被颠覆的直觉：任务互补性

当我们把语音识别系统部署到真实世界并不断用新数据更新它时，一个经典的担忧随之而来——灾难性遗忘（catastrophic forgetting）。模型在学习新知识的同时，往往会抹去此前习得的能力。财报电话会议（earnings call）的转录场景正是这种持续学习（Continual Learning, CL）困境的典型代表：ASR系统需要不断吸纳新的录音，却可能遗忘之前学到的金融语音模式。

但这项研究得出的结论恰恰相反。研究者将通用领域训练的 Whisper-small 模型迁移适配到 Earnings22 基准数据集上，发现所有评估方法在适配过程中，对同领域留出集（held-out）的金融语音表现都在改善，而非退化。换句话说，预期中的遗忘并没有发生。

这一现象的核心解释是任务互补性（task complementarity）。当新任务与原有知识之间不存在明显冲突、甚至相互强化时，持续学习所依赖的前提就不成立了。在这种情况下，强行施加正则化约束反而会起反作用。

Whisper 是 OpenAI 于 2022 年发布的大规模多语言语音识别模型，采用编码器-解码器 Transformer 架构，在约 68 万小时的互联网多语言音频上进行弱监督训练。Whisper-small 是其参数量约 2.44 亿的中小规格版本，在保持较强通用识别能力的同时对计算资源相对友好，因此常作为垂直领域微调的起点。Earnings22 是一个专为金融领域语音识别评估设计的基准数据集，由真实的上市公司财报电话会议录音构成，包含大量行业术语、数字表达和非母语口音，词错误率（WER）普遍高于通用场景，是衡量 ASR 系统在专业语音场景下泛化能力的常用测试床。

为什么正则化会"帮倒忙"

持续学习领域的主流方法之一是基于正则化的策略，其中最具代表性的就是弹性权重巩固（Elastic Weight Consolidation, EWC）。它的思路是通过估计参数对旧任务的重要性，在训练新任务时对关键参数施加惩罚，限制其大幅变动，从而保护旧知识。

这套机制的隐含假设是：新旧任务之间存在竞争，不加约束就会导致遗忘。然而在财报语音这个具体场景中，由于通用语音与金融领域语音在底层声学和语言特征上高度相关，适配过程本身就是一种正向迁移。此时若用 EWC 把参数"锁死"在旧的最优位置附近，反而会阻碍模型充分吸收金融领域的特有模式，拉低整体性能。

研究由此提出一个重要的方法论建议：在套用任何持续学习约束之前，应当先评估任务之间是否真正存在互补性或冲突。盲目应用正则化，可能既没解决不存在的问题，又损害了实际收益。

弹性权重巩固（EWC）的数学核心是费雪信息矩阵（Fisher Information Matrix, FIM）。费雪信息矩阵度量的是模型参数对损失函数曲率的贡献，直觉上可理解为：曲率越大，说明该参数对旧任务的预测越敏感，改动代价越高。EWC 将这一重要性作为惩罚系数，叠加到新任务的损失函数上，形成 $L_{new} + \lambda \sum_i F_i (\theta_i - \theta_{i}^{})^2$ 的形式，其中 $\theta^{}$ 是旧任务训练完毕后的参数快照，$\lambda$ 控制保护力度。问题在于，这个惩罚项本质上假定旧任务最优解与新任务最优解存在冲突——一旦二者实际上方向一致，惩罚项不仅多余，还会在参数空间中人为制造阻力，妨碍模型沿正确梯度方向收敛。

当确实需要正则化时：mini-KFAC 优于对角 EWC

当然，任务互补并非普适规律。在那些确实存在遗忘风险、需要正则化的场景里，选择哪种正则化方法就变得关键。研究对比了两种方案：

对角 EWC 的局限

标准的 EWC 通常采用对角 Fisher 信息矩阵来近似参数重要性。这种做法计算成本低，但它假设各参数之间相互独立，忽略了参数间的相关性。对于神经网络这种高度耦合的结构，这种近似往往过于粗糙，导致重要性估计不准确，进而影响优化的稳定性。

mini-KFAC 的改进

研究引入了逐层的 mini-Kronecker-Factored Approximate Curvature（mini-KFAC）近似。KFAC 通过克罗内克积分解来逼近 Fisher 信息矩阵的分块结构，能够捕捉层内参数之间的二阶曲率信息，相比对角近似更贴近真实的参数重要性分布。

实验结果显示，在需要正则化的情形下，mini-KFAC EWC 相比标准对角 EWC 能够实现：

• 更低的词错误率（WER）
• 更稳定的优化过程

这意味着当你无法回避持续学习约束时，用更精细的曲率近似替代粗糙的对角近似，是一个值得优先考虑的选择。

克罗内克积分解（Kronecker-Factored Approximate Curvature, KFAC）最初由 Martens 和 Grosse 于 2015 年提出，用于加速自然梯度优化。其核心思想是将每一层的费雪信息矩阵近似分解为两个较小矩阵的克罗内克积：$F_l \approx A_{l-1} \otimes G_l$，其中 $A_{l-1}$ 是该层输入激活值的二阶统计量，$G_l$ 是输出梯度的二阶统计量。这种分解将原本 $O(p^2)$ 规模的矩阵运算降低到两个独立的小矩阵操作，使得在实际网络规模下计算块状二阶信息成为可能。"mini-KFAC"是对完整 KFAC 的进一步简化，通过缩减每层用于统计估计的样本量来控制内存与计算开销，在精度与效率之间取得更实用的平衡，尤其适合在持续学习场景中按层更新重要性估计。

对实际工程的启示

这项研究的价值不止于一个具体数字上的提升，更在于它对持续学习方法论的反思。许多工程实践会"默认"开启正则化来防止遗忘，但本文的结论提醒我们：

1. 遗忘并非必然发生。当增量数据与模型已有能力同属一个连贯的领域时，适配更可能是正向增强而非破坏。
2. 正则化有成本。它可能限制模型对新数据的充分学习，在任务互补时得不偿失。
3. 方法选择有讲究。真要正则化，mini-KFAC 这类二阶近似通常优于简单的对角方案。

对于金融语音转录这类垂直领域的 ASR 系统维护者来说，这意味着在设计模型更新流程时，第一步不应是直接套用遗忘防护机制，而是先量化评估新旧任务间的关系。只有在确认存在冲突后，再引入合适的正则化手段，才能在稳定性与性能之间取得平衡。

小结

这篇研究用财报电话会议转录这一真实场景，挑战了持续学习中"必须防遗忘"的惯性思维。核心发现是：任务互补性应当先于约束被评估。当通用语音向金融语音迁移时，适配带来的是协同增益，正则化反而适得其反；而在确有需要时，mini-KFAC EWC 以更低的 WER 和更稳定的优化胜过传统的对角 EWC。这为垂直领域 ASR 的持续更新提供了一个务实的决策框架。