MAEM
面向类别增量图学习的无回放动态专家混合框架,通过冻结专家、MAE重构误差路由和专家合并蒸馏机制抑制近因偏差与灾难性遗忘
时间轴 (近 90 天)
MAEM是一个面向类别增量图学习的无回放、容量可控动态专家混合框架。
MAEM使用Simplified Graph Convolution(SGC)构建节点表示,SGC比标准GCN更轻量、更稳定,适合持续学习场景。
在MAEM中,每当新会话到达时训练一个专属专家处理当前类别,训练完成后立即冻结该专家,新知识只能进入新专家,旧专家参数不会被动摇。
MAEM为每个专家配备一个掩码自编码器(MAE),测试节点被分配给重构误差最低的专家,这种去中心化路由机制无需任务ID,也不需要共享参数。
MAEM在达到固定容量上限时,通过Git Re-Basin对齐技术合并最少使用的专家,并利用MAE分布合成的拓扑感知伪数据将合并后的专家蒸馏成一个统一的融合专家。
MAEM在四个类别增量图学习基准上进行了验证,结果显示近因偏差显著缓解、性能超越多个强持续图学习基线、在严格无回放条件下保持模型容量有界。
MAEM不依赖任务身份、不存储历史数据、不共享可训练路由器。
MAE推理时需对每个专家前向一次,专家数量增多会线性增加推理开销。
Git Re-Basin对齐在专家数量较多时存在额外计算成本,是实际部署时需要考虑的工程问题。
MAEM论文摘要未披露具体的容量阈值和合并触发频率,这些超参数的敏感性有待进一步实验验证。
全部知识事实 (10)
MAEM是一个面向类别增量图学习的无回放、容量可控动态专家混合框架。
50%待验证MAEM使用Simplified Graph Convolution(SGC)构建节点表示,SGC比标准GCN更轻量、更稳定,适合持续学习场景。
50%待验证在MAEM中,每当新会话到达时训练一个专属专家处理当前类别,训练完成后立即冻结该专家,新知识只能进入新专家,旧专家参数不会被动摇。
50%待验证MAEM为每个专家配备一个掩码自编码器(MAE),测试节点被分配给重构误差最低的专家,这种去中心化路由机制无需任务ID,也不需要共享参数。
50%待验证MAEM在达到固定容量上限时,通过Git Re-Basin对齐技术合并最少使用的专家,并利用MAE分布合成的拓扑感知伪数据将合并后的专家蒸馏成一个统一的融合专家。
50%待验证MAEM在四个类别增量图学习基准上进行了验证,结果显示近因偏差显著缓解、性能超越多个强持续图学习基线、在严格无回放条件下保持模型容量有界。
50%待验证MAEM不依赖任务身份、不存储历史数据、不共享可训练路由器。
50%待验证MAE推理时需对每个专家前向一次,专家数量增多会线性增加推理开销。
50%待验证Git Re-Basin对齐在专家数量较多时存在额外计算成本,是实际部署时需要考虑的工程问题。
50%待验证MAEM论文摘要未披露具体的容量阈值和合并触发频率,这些超参数的敏感性有待进一步实验验证。
50%