[控场AI]
· 4 分钟阅读· 2,361 字

联邦类增量学习新方法:用伪特征克服灾难性遗忘

联邦类增量学习新方法:用伪特征克服灾难性遗忘

FCLPF用类别原型生成伪特征,无需存旧样本即可缓解联邦类增量学习中的灾难性遗忘。

本文介绍联邦类增量学习方法FCLPF,旨在解决联邦学习中数据持续到达导致的灾难性遗忘问题。传统回放方法需保存旧样本或训练GAN生成伪样本,分别带来隐私泄露和高计算成本。FCLPF在每个客户端维护类别原型(特征均值),并据此生成伪特征与新数据混合训练,从而在保护隐私的同时以轻量计算缓解遗忘。在CIFAR-100和TinyImageNet上的实验显示,FCLPF的准确率显著高于基线,遗忘率大幅降低(TinyImageNet上从24.46%降至3.14%)。文章最后讨论了该方法在复杂模态和非独立同分布场景中的局限与未来方向。

联邦学习通常假设数据在训练前就已固定,但现实场景中数据往往持续到达。这会导致模型在学习新类别时遗忘旧知识,即灾难性遗忘。针对这一问题,研究者提出FCLPF(Federated Class Incremental Learning with Pseudo Features),一种利用原型生成伪特征来缓解遗忘的方法。

联邦类增量学习论文标题

灾难性遗忘:联邦学习落地的拦路虎

联邦学习允许多个客户端在不共享原始数据的情况下协作训练模型,但传统方法假定每个客户端的数据分布是静态的。然而,在真实应用中,数据往往以流的形式不断到达,例如新的用户行为、新的设备类型或新的内容类别。如果模型直接在新数据上更新,就会严重遗忘之前学过的旧类别。

一种直观的解决方案是保存旧数据的样本(exemplars),并在训练新任务时回放。但这种方法存在隐私泄露风险,且存储成本高昂,与联邦学习“数据不出本地”的初衷相悖。另一种思路是使用生成对抗网络(GAN)生成旧数据的伪样本,但GAN训练复杂、计算开销大,在资源受限的客户端上难以部署。

FCLPF另辟蹊径,通过类别原型(prototypes)生成伪特征,无需保存任何真实样本,也避免了GAN的沉重计算负担。

灾难性遗忘(Catastrophic Forgetting)是神经网络在增量学习中面临的经典问题:当模型在新任务或新数据上训练时,其参数更新会覆盖先前任务学到的知识,导致在旧任务上的性能急剧下降。该现象最早由McCloskey和Cohen在1989年系统描述,后经French等人在1990年代深入研究。在类增量学习场景中,模型需要依次学习不断出现的新类别,而旧类别的数据不再可用,因此遗忘尤为严重。常见的缓解策略包括正则化方法(如EWC,约束重要参数变化)、回放方法(保存或生成旧数据)和参数隔离方法(为不同任务分配独立子网络)。FCLPF属于回放方法中的伪特征生成分支。

FCLPF核心:原型驱动的伪特征生成

FCLPF的核心思想是在每个客户端本地维护一个类别原型集合——即每个类别特征空间的均值向量。当新类别数据到来时,客户端不仅用新数据训练模型,还利用存储的原型生成伪特征,模拟旧类别的特征分布,从而在训练中同时兼顾新旧知识。

具体而言,客户端在本地训练时,将伪特征与真实新数据混合,通过损失函数约束模型在旧类别上的输出,从而缓解遗忘。由于伪特征由原型直接生成,计算量远小于训练GAN,且通信时只需传输原型或模型参数,显著降低了通信成本。

这一设计使得FCLPF在隐私保护、计算效率和模型性能之间取得了较好的平衡。

类别原型(Class Prototype)是指某一类别在特征空间中所有样本特征向量的均值。这一概念源于原型学习(Prototype Learning)和度量学习,其核心假设是同一类别的样本在表征空间中会聚集在均值附近,因此均值可以作为该类别的紧凑代表。在增量学习中,原型只需存储一个向量而非大量样本,存储开销极小,且不泄露原始数据。FCLPF利用原型生成伪特征时,通常以原型为中心加入高斯噪声或通过线性变换采样,以模拟旧类别特征的真实分布。原型质量取决于特征提取器的稳定性,若特征空间随新任务更新而漂移,旧原型可能失效,因此维护原型的一致性是该类方法的关键挑战。

实验验证:准确率与遗忘率的双重优势

研究者在CIFAR-100和TinyImageNet两个图像分类基准上评估了FCLPF。在CIFAR-100上,FCLPF取得了51.87%的平均准确率和9.62%的平均遗忘率,而现有基线方法的平均准确率为47.72%、平均遗忘率为20.46%。在TinyImageNet上,FCLPF的准确率达到37.56%,遗忘率仅为3.14%,基线方法则为27.69%的准确率和24.46%的遗忘率。

从数据可以看出,FCLPF不仅准确率更高,更重要的是遗忘率大幅降低——在TinyImageNet上,遗忘率从24.46%降至3.14%,表明模型在持续学习新类别时能更好地保留旧知识。这种优势在类别增量场景中尤为关键,因为实际应用往往要求模型在更新后仍能可靠地处理历史类别。

平均准确率(Average Accuracy)和平均遗忘率(Average Forgetting)是类增量学习最常用的两个评价指标。平均准确率指模型在所有已学习任务上的最终准确率的平均值,衡量整体性能;平均遗忘率则计算模型在每个任务上学完时的准确率与其最终准确率之差的平均值,衡量知识保留程度。两者通常呈现权衡关系:模型越偏向新任务,准确率可能越高但遗忘也越严重。FCLPF在TinyImageNet上将遗忘率从24.46%降至3.14%,说明其伪特征回放机制有效约束了参数更新对旧类别决策边界的破坏,而准确率同步提升则表明新旧知识实现了较好的协同。

启示与展望

FCLPF展示了伪特征方法在联邦类增量学习中的潜力。它避免了保存真实样本的隐私风险,也绕开了GAN的高计算成本,为资源受限的联邦学习环境提供了一种轻量级解决方案。

不过,该方法目前仅在图像分类任务上验证,对于更复杂的模态(如文本、语音)或非独立同分布(non-IID)程度更高的联邦场景,其有效性仍有待探索。此外,原型本身的质量会直接影响伪特征的逼真程度,如何在类别不平衡或数据异构条件下维护可靠的原型,是未来值得关注的方向。

总体而言,FCLPF为联邦学习在动态数据环境中的落地提供了一条务实的技术路径,其“原型+伪特征”的思路也可能启发更多无需回放旧数据的研究。

#联邦学习#类增量学习#灾难性遗忘#伪特征#原型#FCLPF#持续学习
分享:

相关推荐