钢琴转谱模型微调吉他惨遭灾难性遗忘，问题出在哪？

一位开发者在 Reddit 上求助：他试图将一个钢琴转谱（transcription）模型微调用于吉他，却遭遇了严重的灾难性遗忘（catastrophic forgetting）——模型在吉他数据上稍有起色，原本的钢琴转谱能力却大幅崩塌。这几乎是跨乐器迁移学习中最经典的翻车现场。

灾难性遗忘为何偏偏找上转谱任务

转谱模型的输出是密集的逐帧或逐音符号预测，钢琴和吉他在音域、音色、演奏技法上差异巨大，模型学到的特征分布本身就不一致。当你用少量吉他数据直接微调整个网络，梯度更新会迅速覆盖掉原先为钢琴学到的权重，导致旧任务性能断崖式下跌。

更麻烦的是，转谱任务对时序对齐和音高精度极为敏感，哪怕权重只被轻微扰动，输出也可能从“基本准确”退化成“完全不可用”。这解释了为什么该开发者感受到的遗忘程度比一般分类任务更剧烈。

灾难性遗忘（Catastrophic Forgetting）是神经网络在序列化学习多个任务时的典型失效模式：当模型在新任务上继续训练时，梯度更新会覆盖掉为旧任务学到的权重，导致旧任务性能急剧下降。这一现象在 1989 年由 McCloskey 和 Cohen 系统描述，后来在持续学习（Continual Learning）领域成为核心问题。其根源在于神经网络的参数共享机制——同一组权重同时编码多个任务的解，而标准微调没有显式约束来保护旧任务的关键参数。缓解思路大致分为三类：正则化方法（如 EWC，通过惩罚对旧任务重要的参数改动）、回放方法（混入旧数据或生成伪样本）、结构方法（隔离部分参数或使用适配器）。理解这一分类有助于判断文中所提修法各自属于哪条技术路线。

常见的错误做法与对应修法

全量微调 + 小数据集是最危险的组合

如果吉他数据量有限，直接解冻全部参数做微调，几乎必然触发遗忘。更稳妥的做法是先冻结主干网络，只训练最后的输出头或适配层，让模型在保留钢琴特征的前提下学习吉他的映射关系。

学习率没有做区分

微调阶段沿用预训练时的大学习率，会放大权重漂移。建议对预训练层使用更小的学习率，对新加层使用正常学习率，形成分层学习率策略。

缺少旧任务的回放或正则约束

在微调时混入一部分钢琴数据，或者引入弹性权重固化（EWC）一类的正则项，可以显著缓解遗忘。哪怕只保留少量旧任务样本，也能为模型提供“锚点”，防止参数跑偏。

弹性权重固化（Elastic Weight Consolidation, EWC）由 Kirkpatrick 等人于 2017 年提出，是持续学习中最具代表性的正则化方法。其核心思想是：先用费雪信息矩阵（Fisher Information Matrix）估计每个参数对旧任务的重要性，在后续微调时对重要参数施加二次惩罚，使其不易被大幅改动，从而在“学新”与“保旧”之间取得平衡。EWC 无需保存旧任务数据，适合数据隐私或存储受限的场景；但它的近似假设较强（如损失曲面局部二次近似），在任务差异极大时效果有限。对于转谱这类输出密集的任务，EWC 可与少量数据回放结合使用，形成双重约束。

跨乐器迁移，有没有更省事的路径

如果目标只是让模型“能识别吉他”，而不是完全替代钢琴能力，可以考虑多任务学习：让模型同时输出钢琴和吉他的转谱结果，共享底层特征，两个任务互相约束。另一种思路是采用适配器（adapter）结构，在冻结的主干上插入少量可训练模块，既保留原能力，又获得新技能。

据社区讨论中常见的经验，参数量越大的预训练模型，越容易在微调时“记住新东西、忘掉旧东西”，因此小数据场景下更应该优先选择参数高效微调（PEFT）方案，而不是暴力全量微调。

参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）是一类只训练极少量新增参数、冻结预训练主干的方法总称，常见形式包括适配器（Adapter）、低秩分解（LoRA）、前缀调优（Prefix Tuning）等。其优势在于：可训练参数量通常不到总参数的 1%，大幅降低过拟合与小数据场景下的遗忘风险；同时每个任务可以保存独立的轻量模块，便于多任务切换与部署。文中提到的适配器结构即 PEFT 的早期代表——在 Transformer 层间插入小型前馈模块，训练时只更新这些模块。对于跨乐器转谱，PEFT 能让钢琴能力保持在冻结主干中，吉他能力则集中在少量可训练参数里，从结构上隔离新旧任务。

给遇到同类问题的开发者的检查清单

• 确认微调数据量与模型规模是否匹配，数据少就别全量微调；
• 检查是否冻结了主干、是否区分了学习率；
• 在训练集中保留一定比例的旧任务数据做回放；
• 监控旧任务验证集指标，一旦明显下滑就及时调整策略；
• 考虑多任务或适配器方案，从结构上隔离新旧任务。

灾难性遗忘不是玄学，而是微调策略与数据分布不匹配的必然结果。把“保旧”和“学新”当成两个需要同时优化的目标，问题往往就迎刃而解了。