MAEM：无回放动态专家混合破解图学习近因偏差

图神经网络持续学习的核心痛点：近因偏差

图神经网络（GNN）在处理图结构数据上表现优异，但在类别增量图学习（class-incremental graph learning）场景下，当新类别陆续到来时，模型会出现灾难性遗忘。更棘手的是，预测结果往往被最近学到的类别主导，产生严重的近因偏差（recency bias）。

传统方案面临两难。动态扩展架构能够隔离各会话的知识，但多数方法假设任务增量设置，测试时需要任务身份（task ID）来选择分支或头部——这在类别增量学习中根本不可用。可学习路由器看似是替代方案，但在新数据上持续微调路由器本身就会将路由偏向最近的组件。

MAEM论文概览

类别增量图学习（class-incremental graph learning） 是持续学习在图数据上的一个具体设定：模型按会话依次接收新出现的节点类别，测试时需要对所有已见类别进行分类，但不提供任务身份（不知道样本属于哪个会话），因此模型必须自行判断该用哪部分知识作答。这与更宽松的任务增量学习（task-incremental learning） 形成对比——后者测试时已知任务 ID，可直接选用对应分支或头部，难度大幅降低。另一个相关概念是灾难性遗忘（catastrophic forgetting）：神经网络在新任务上做梯度更新时，会大幅改写与旧任务相关的权重，导致旧任务性能骤降。图数据因节点间存在拓扑依赖，旧类别的表示会随新类别消息传递而被进一步扰动，遗忘往往比图像领域更严重。

MAEM的三大核心设计

针对上述困境，研究者提出了 MAEM——一个面向类别增量图学习的无回放、容量可控动态专家混合框架。它从表示学习、路由机制和容量管理三个层面同时入手。

SGC表示 + 冻结专家：让知识隔离不做遗忘

MAEM 使用 Simplified Graph Convolution（SGC）构建节点表示，这比标准 GCN 更轻量、更稳定，适合持续学习场景。每当新会话到达时，MAEM 训练一个专属专家（expert）处理当前类别，训练完成后立即冻结该专家。

冻结策略的意义在于：新知识只能进入新专家，旧专家的参数不会被动摇。这从架构层面切断了梯度回传带来的遗忘路径，比正则化方法更硬性地保护了先验知识。

Simplified Graph Convolution（SGC） 是对标准 GCN 的极简化：它去掉了每层之间的非线性激活，将多层传播退化为对归一化邻接矩阵的幂次相乘，即先做 K 阶邻域聚合，再接一个线性分类器。这样做的好处有三点：一是参数量与计算量大幅下降，适合在持续学习中被反复调用；二是去除非线性后，传播过程等价于一个固定的线性平滑算子，表示更稳定，不易因新数据到来而产生剧烈漂移；三是其线性性质便于理论分析与特征复用。在类别增量场景下，稳定的表示意味着旧类别的节点嵌入不会因新增会话而被反复扭曲，从而与“冻结专家”策略形成互补：SGC 保证特征空间本身少变动，冻结保证旧专家参数不被覆盖。

MAE路由：扔掉任务ID，用重构误差说话

路由是动态专家混合最核心的环节。MAEM 不做共享训练路由器——因为那正是路由级近因偏差的来源——而是为每个专家配备一个掩码自编码器（MAE）。

测试节点被分配给重构误差最低的专家。直觉上，一个专家在训练时见过的类别分布上重构得更准确；新类别节点自然会被吸引到刚训练好的专家，旧类别节点则继续匹配旧专家。这种去中心化的路由机制无需任务ID，也不需要共享参数，从根本上抑制了路由层面的近因偏差。

掩码自编码器（Masked Autoencoder, MAE） 是一类自监督重构模型：训练时随机遮蔽输入的一部分（如图节点特征或子图结构），要求模型根据剩余可见部分重建被遮蔽内容。其核心假设是，能准确重构某类数据分布的模型，必然已内化了该分布的规律。在 MAEM 中，每个专家配备一个 MAE，用节点及其邻域特征作为输入，以重构误差衡量该专家对当前节点的“熟悉程度”。路由时选择误差最低的专家，等价于问“哪个专家最懂这个节点”。由于各专家的 MAE 独立训练、参数不共享，新专家的加入不会改变旧专家的重构能力，从而避免共享路由器被新数据带偏的路由级近因偏差。需要注意的是，MAE 推理时需对每个专家前向一次，专家数量增多会线性增加开销。

容量触顶后的合并与蒸馏：不存旧数据也能融合知识

专家池不能无限增长，否则模型容量失控。当达到固定容量上限时，MAEM 做两件事：

合并最少使用的专家：通过 Git Re-Basin 对齐技术将多个低频专家的参数空间对齐后合并，避免简单平均带来的性能损失。
蒸馏为融合专家：利用 MAE 分布合成的拓扑感知伪数据（DeepInversion 风格），将合并后的专家蒸馏成一个统一的融合专家。整个过程不存储、不重访历史图数据。

这意味着 MAEM 的容量始终有界，且在严格的**无回放（replay-free）**约束下运行——这对隐私敏感或存储受限的真实场景尤为重要。

Git Re-Basin 是一种模型参数对齐与合并技术，源自对神经网络损失 landscape 的置换对称性研究：同一功能的不同网络，其神经元排列顺序可能不同，直接逐元素平均会破坏功能。Git Re-Basin 通过在权重空间寻找置换矩阵，把多个模型的神经元顺序对齐到同一“基底”，再进行线性插值或平均，从而在合并时尽量保留各自能力。DeepInversion 则是一种无数据蒸馏方法：固定一个已训练模型，通过优化随机噪声输入，使其在模型中的激活统计（如 BatchNorm 统计量）逼近真实数据，从而合成出可用于蒸馏的伪样本。MAEM 借鉴这一思路，利用 MAE 学到的分布先合成拓扑感知伪图数据，再让融合专家在这些伪数据上学习被合并专家的输出，实现不接触原始历史图数据的知识迁移。

实验表现：四个基准上的系统性优势

MAEM 在四个类别增量图学习基准上进行了验证，结果显示：

近因偏差显著缓解，预测分布不再被最近类别主导；
性能超越多个强持续图学习基线；
在严格无回放条件下保持模型容量有界。

值得一提的是，MAEM 不依赖任务身份、不存储历史数据、不共享可训练路由器——这三个“不”恰好对应了类别增量图学习落地时最常见的三类约束。这使它的方法论意义超出了单纯的精度提升。

方法启示：去中心化路由 + 容量预算的思路可迁移

MAEM 给人最深的印象不是某个单点创新，而是它把“防遗忘”拆解到了架构的三个层次：表示层用 SGC 保证稳定性，路由层用独立 MAE 消除偏差源，容量层用合并蒸馏实现预算控制。这种分层防御的思路，对于其他模态的持续学习同样有借鉴价值。

当然，MAE 路由带来的额外推理开销、Git Re-Basin 对齐在专家数量较多时的计算成本，仍是实际部署时需要考虑的工程问题。论文摘要未披露具体的容量阈值和合并触发频率，这些超参数的敏感性有待进一步实验验证。