SNACK
一种用于图生成的序列化表示框架,通过保留下三角邻接矩阵的非零元素建立图与序列的双射,使Transformer等序列模型可直接用于图生成任务
时间轴 (近 90 天)
SNACK(Sequential Notation for Adjacency and Connectivity Knowledge)是一个通过字符串表示方法将图生成问题转化为序列建模问题的框架。
SNACK只编码下三角邻接矩阵中的非零元素并将其线性化为一个序列,该设计在合法SNACK序列与有序邻接矩阵之间建立了双射。
SNACK使序列模型(如Transformer、RNN)无需复杂图神经网络编码器即可直接处理图生成任务。
SNACK通过无效logit掩码机制,在解码每一步将非法token的logit设为负无穷,论文声称可保证100%的生成序列合法。
SNACK让GFlowNet可以直接在字符串空间上训练,并显式处理节点排序对称性。
实验表明,相比直接在图上操作的方法,SNACK在GFlowNet训练吞吐量上有显著提升。
在标准图生成任务和分子分布学习基准上,SNACK取得了有竞争力的样本质量。
由于序列生成可以利用KV缓存、并行解码等序列模型基础设施,SNACK的吞吐量远超基于图的生成方法。
探测分析显示,仅在序列监督下训练的SNACK模型内部表征仍编码了有意义的局部和全局图结构信息。
SNACK目前主要针对节点和边特征为离散值的图,连续特征图、动态图等场景是否适用尚需进一步探索。
全部知识事实 (10)
SNACK(Sequential Notation for Adjacency and Connectivity Knowledge)是一个通过字符串表示方法将图生成问题转化为序列建模问题的框架。
50%待验证SNACK只编码下三角邻接矩阵中的非零元素并将其线性化为一个序列,该设计在合法SNACK序列与有序邻接矩阵之间建立了双射。
50%待验证SNACK使序列模型(如Transformer、RNN)无需复杂图神经网络编码器即可直接处理图生成任务。
50%待验证SNACK通过无效logit掩码机制,在解码每一步将非法token的logit设为负无穷,论文声称可保证100%的生成序列合法。
50%待验证SNACK让GFlowNet可以直接在字符串空间上训练,并显式处理节点排序对称性。
50%待验证实验表明,相比直接在图上操作的方法,SNACK在GFlowNet训练吞吐量上有显著提升。
50%待验证在标准图生成任务和分子分布学习基准上,SNACK取得了有竞争力的样本质量。
50%待验证由于序列生成可以利用KV缓存、并行解码等序列模型基础设施,SNACK的吞吐量远超基于图的生成方法。
50%待验证探测分析显示,仅在序列监督下训练的SNACK模型内部表征仍编码了有意义的局部和全局图结构信息。
50%待验证SNACK目前主要针对节点和边特征为离散值的图,连续特征图、动态图等场景是否适用尚需进一步探索。
50%