RAFT：冗余感知输入过滤加速时序图神经网络训练

时序图神经网络（TGNN）在处理动态图学习任务时表现出色，它通过不断从演化交互（即事件）中更新节点记忆，并利用这些记忆进行下游预测。然而，随着现代应用中图的快速增长，训练需要处理的事件数量激增；同时，每个事件可能更新后续事件所依赖的节点记忆，这种依赖关系限制了并行执行，也削弱了额外计算资源带来的收益。这些成本促使我们思考一个上游问题：是否所有事件及其引入的依赖关系都是学习所必需的？

近日，一篇题为《RAFT: Redundancy-Aware Input Filtering for Temporal Graph Neural Network Training》的论文对这一问题进行了深入探究。该研究通过分析时序事件的两种角色——预测目标和作为输入采样的历史事件——发现：涉及稳定节点记忆的预测目标往往表现出较低的预测损失；而在多种评估设置下，过滤掉与稳定记忆相关的历史事件可以保持相似的训练损失轨迹。这些观察共同表明，通过节点记忆的变化可以识别输入冗余。基于此，研究者提出了RAFT，一个用于TGNN训练的冗余感知输入过滤框架。

时序图神经网络训练的瓶颈

TGNN的训练过程涉及大量事件的处理，每个事件都会更新节点记忆，而这些记忆又会被后续事件使用，形成复杂的依赖链。这种依赖关系不仅增加了计算负担，还限制了并行化的可能性，使得单纯增加计算资源难以显著提升训练速度。因此，减少不必要的事件处理成为提升训练效率的关键。

节点记忆（node memory） 是TGNN的核心组件之一，通常是一个按节点索引的向量，用于概括该节点截至当前时刻的历史交互信息。每当一个事件（如一条边上的交互）发生时，TGNN会读取涉及节点的记忆作为输入，计算后更新这些记忆，使其融入新事件的信息。因此，节点记忆相当于对历史交互的“压缩摘要”，使得模型无需回溯全部历史即可进行预测。记忆的更新是串行的：后续事件依赖前序事件更新后的记忆，这构成了训练中难以并行化的根本原因。RAFT正是利用记忆变化的幅度来判断事件的重要性——记忆变化小意味着该事件对后续预测影响有限，从而可作为冗余过滤的依据。

RAFT框架：基于记忆变化的输入过滤

RAFT的核心思想是利用训练过程中节点记忆的变化来指导输入过滤。具体而言，它包含两个过滤器：

• 根事件过滤器（root-event filter）：在训练前移除选定的预测目标。这些目标对应的节点记忆较为稳定，预测损失较低，因此对训练贡献较小。
• 支持事件过滤器（support-event filter）：在采样过程中排除选定的历史上下文。这些历史事件关联的节点记忆稳定，过滤后仍能保持相似的训练损失轨迹。

通过在输入准备和处理之前进行过滤，RAFT减少了这些输入所触发的工作量，从而加速训练。

根事件（root event）与支持事件（support event） 是TGNN训练中事件的两种角色。根事件是被选为预测目标的事件，模型需要基于其之前的节点记忆预测该事件的发生（如边是否存在、节点类别等）；支持事件则是为预测根事件而回溯采样的历史事件，它们提供上下文并参与节点记忆的更新。一次训练迭代通常包含一个根事件及其采样得到的一批支持事件，二者共同构成输入。RAFT分别针对这两种角色设计过滤器：根事件过滤器在训练前剔除记忆稳定、损失低的预测目标；支持事件过滤器在采样时排除关联稳定记忆的历史上下文。这种按角色区分的过滤策略，使得冗余识别能够精准作用于训练管线的不同阶段。

训练损失轨迹（training loss trajectory） 指模型在训练过程中损失值随迭代步数变化的曲线。在TGNN训练中，由于事件按时间顺序处理且存在依赖，损失轨迹的稳定性反映了模型学习过程的连贯性。RAFT在评估过滤效果时，并非仅看最终精度，而是比较过滤前后损失轨迹的相似程度——若过滤掉某些事件后损失轨迹仍保持相近，说明这些事件对学习过程的贡献有限，属于冗余输入。这一指标比单点精度更能捕捉过滤对训练动态的影响，也为“过滤不损害学习”提供了更细粒度的证据。

实验效果：输入减少35%，训练时间减半

研究者在三个TGNN模型和五个数据集上评估了RAFT。结果显示，RAFT平均减少训练输入35.23%，最高可达97.11%；同时，记录的训练时间最多减少52.56%，而模型精度变化微乎其微。这表明RAFT在显著提升训练效率的同时，几乎不影响模型性能。

启示与展望

RAFT的提出为时序图神经网络的训练优化提供了新思路：通过识别和过滤冗余输入，可以有效缓解训练中的依赖瓶颈。未来，这一方法有望扩展到更多动态图学习场景，进一步推动TGNN在实际应用中的部署。