[控场AI]
· 3 分钟阅读· 1,837 字

SCARCE:无标签图泛化如何实现隐式特征重加权

SCARCE:无标签图泛化如何实现隐式特征重加权

SCARCE框架仅利用环境划分实现无标签图级OOD泛化。

SCARCE是一种针对图神经网络分布偏移(OOD)问题的无标签泛化框架。传统方法依赖类别标签识别预测性子结构,限制了无标签场景的应用。SCARCE仅需训练图的环境划分(来自元数据或无监督聚类),采用两阶段训练:先用变分图自编码器(VGAE)热启动,再通过对抗混淆机制迫使编码器丢弃环境判别信息。理论分析表明,环境混淆收缩环境判别方向,等价于隐式特征重加权。在合成数据集和DrugOOD上,SCARCE在无标签方法中达到最先进OOD泛化性能,为标签稀缺场景提供了可行路径,但环境划分质量和对抗训练开销是潜在局限。

图神经网络在真实场景中常面临分布偏移(OOD)问题,提升图级泛化能力是落地关键。传统方法在表示学习阶段依赖类别标签来识别预测性子结构,这限制了无标签场景的应用。近期一篇论文提出SCARCE框架,仅利用训练图的环境划分(来自元数据或无监督聚类)即可学习分布鲁棒的图表示,为无标签图泛化提供了新思路。

SCARCE框架示意图

现有方法的标签依赖困境

图级OOD泛化旨在让模型在训练分布之外保持稳健。已有工作通常假设训练时能获取类别标签,通过监督信号判断哪些子结构具有预测性,从而在表示学习中抑制虚假关联。然而,现实中标签往往稀缺或获取成本高,这种依赖成为瓶颈。SCARCE的出发点正是剥离标签依赖:它只要求对训练图进行环境划分,划分方式可以是数据集自带的元数据,也可以是在无元数据时对自监督嵌入进行聚类。环境划分提供了关于分布偏移的粗粒度信息,但不涉及类别语义。

两阶段训练:重建与对抗混淆

SCARCE采用两阶段流程。第一阶段,变分图自编码器(VGAE)通过图重建任务进行热启动,使编码器初步捕捉图结构信息。第二阶段引入对抗混淆机制:一个判别器尝试从编码器输出的表示中区分环境,而编码器则被训练来生成让判别器无法分辨环境的表示。同时,图重建保真度作为约束保留,防止信息过度丢失。这种对抗博弈促使编码器丢弃环境判别性方向,保留与任务相关的结构信息。

变分图自编码器(VGAE)是一种基于图结构的生成模型,其编码器将节点特征和邻接矩阵映射到潜在空间的分布参数(均值和对数方差),解码器则从潜在表示中重建邻接矩阵。训练目标包括重建损失和KL散度正则项,使潜在表示贴近先验分布。VGAE常用于无监督图表示学习,能够捕捉图的拓扑和属性信息。在SCARCE中,VGAE的热启动阶段通过重建任务预训练编码器,为后续对抗训练提供稳定的初始化,避免对抗博弈从随机噪声开始导致的不稳定。

理论视角:隐式特征重加权

论文提供了理论分析,表明环境混淆会收缩表示空间中与环境判别相关的方向。在正则化下游分类器下,这等价于对环境关联特征施加更强的方向性惩罚。换言之,SCARCE实现了一种隐式的特征重加权:它不像末层重加权方法那样显式调整权重,而是通过表示学习连续地降低对虚假相关性的依赖,同时不擦除信息。这种无标签的连续松弛为传统重加权方法提供了可扩展的替代方案。

特征重加权是处理分布偏移的经典策略,其核心思想是对不同特征维度赋予不同权重,以降低虚假相关特征的影响。末层重加权方法通常在模型最后一层显式调整权重,例如通过环境标签学习样本权重或特征惩罚。这类方法需要环境标签或额外的优化步骤,且权重调整是离散的。SCARCE的隐式重加权则发生在表示学习过程中,通过对抗混淆连续地收缩环境判别方向,等价于对所有下游分类器施加方向性惩罚。这种连续松弛避免了显式重加权的两阶段优化,更易于端到端训练,但理论保证依赖于对抗训练的收敛性。

实验验证:合成数据与DrugOOD

在受控合成数据集和DrugOOD数据集上,SCARCE在无标签方法中取得了最先进的OOD泛化性能。有意思的是,整个表示学习过程未使用任何类别标签,仅依赖环境划分。这验证了环境混淆机制的有效性,也说明无监督环境聚类可作为元数据的实用替代。实验覆盖了不同分布偏移类型,结果一致表明SCARCE优于现有无标签基线。

DrugOOD是药物发现领域的图级分布偏移基准数据集,包含多个子数据集,涵盖不同的偏移类型(如支架偏移、分子大小偏移等)。每个分子表示为图,节点为原子,边为化学键,任务为预测分子性质(如毒性)。DrugOOD提供了环境划分(基于元数据),便于评估OOD泛化方法。SCARCE在DrugOOD上不使用类别标签,仅利用环境划分进行训练,与无标签基线相比取得最优性能,验证了其在真实药物发现场景中的有效性。

意义与局限

SCARCE的核心贡献在于将图OOD泛化从标签依赖中解放出来,为标签稀缺的图学习场景提供了可行路径。其理论联系揭示了对抗混淆与特征重加权之间的等价性,为理解无标签泛化提供了新视角。潜在局限包括环境划分的质量依赖:当自监督聚类效果不佳时,性能可能下降;此外,对抗训练的计算开销和稳定性也是实际部署需考虑的因素。未来工作可探索更鲁棒的环境发现方法,并将框架扩展到节点级任务。

#图神经网络#OOD泛化#无标签学习#特征重加权#环境混淆#变分图自编码器#DrugOOD
分享:

相关推荐