基于归一化流的变分图神经网络

《IEEE Transactions on Signal and Information Processing over Networks》：Variational Graph Neural Network Based on Normalizing Flows

　　图神经网络在处理社交网络等非欧几里得数据时面临节点间真实连接与噪声干扰共存的不确定性挑战，现有变分图自动编码器因假设高斯后验分布而建模能力受限。本文提出基于正常化流的变分图神经网络，通过可逆变换构建更灵活的后验分布，在链接预测任务中相比VGAE等方法提升显著，部分数据集达到SOTA水平。

　　

摘要：

图神经网络（GNNs）在处理非欧几里得数据集（如社交网络和蛋白质-蛋白质相互作用网络）方面取得了显著的成功。然而，这些数据集通常包含固有的不确定性，例如节点之间缺失的紧密相关边。为了应对这一问题，提出了变分图自编码器（VGAE）和其他贝叶斯方法。不幸的是，它们无法有效处理图数据。例如，VGAE假设后验分布是高斯分布，但这无法很好地匹配真实后验分布。为了解决这些限制，本文提出了一种基于变分GNN的归一化流（NFs）方法。与VGAE不同，我们的方法不再假设后验分布是标准的高斯分布，而是利用NFs来学习更复杂和灵活的分布。NFs通过一系列可逆变换将简单分布转换为复杂分布。转换后的分布更加灵活，能够更好地匹配真实分布。具体来说，为了获得可逆变换器，我们借鉴了RealNVP的思想，在图上使用仿射变换将简单分布映射到复杂分布。转换后的分布可以推断出更复杂的分布，例如偏态分布。我们在链接预测任务中进行了实验，我们的方法与其他方法相比表现优异，甚至在某些数据集上取得了最先进的结果。

引言

近年来，图神经网络（GNNs）取得了显著的进展，成为处理图结构数据的强大框架[1]、[2]、[3]。通过将深度学习的表示能力与图的固有关系结构有效结合，已经提出了许多基于GNN的方法用于下游任务[5]、[6]、[7]、[53]。GNN通过聚合节点的邻近信息递归更新节点特征，直到达到稳定平衡。图为许多现实世界系统提供了自然的表示方式。例如，在社交网络中，用户可以表示为节点，他们的关系可以表示为边。在这种情况下，基于图的学习方法可以预测用户关系，从而实现推荐系统等应用[8]。在化学中，原子和键分别用图中的节点和边来表示，这可以用于药物发现[9]。已经提出了许多GNN方法来处理基于图的学习的下游任务。最具代表性的方法包括GAT[10]、GraphSAGE[11]、GCN[12]、CAT[52]。这些模型每种都引入了创新机制，用于从节点的邻域中聚合信息以增强表示学习。然而，图数据通常包含固有的不确定性，如图1所示。两个圆圈表示不同的簇。簇1和簇2完全不同，它们的节点之间不应该有任何连接。然而，在图的噪声影响下，两个簇之间的节点通过灰色实线连接起来。在每个簇内，节点表现出相似性，预期存在一些连接；然而，这些连接在图中用虚线表示是缺失的。实线表示两个节点之间的有效连接。这种不确定性在图数据中很常见。例如，在社交网络中，两个之前没有连接的个体可能被推荐进行连接（用灰色实线表示），而两个紧密连接的个体可能被错误地识别为陌生人（用虚线表示）。大多数现有网络（如GCN）是确定性的。它们学习节点的确定性表示，将图视为节点之间关系的真实描述，这无法捕捉图数据的不确定性。为了捕捉这种不确定性，贝叶斯方法被结合到GNN中。Zhang等人引入了贝叶斯图卷积神经网络（BGCN）[13]，它将观察到的图视为来自参数化随机图族的实现。然后，使用贝叶斯定理定义随机图及其节点标签的联合后验分布。BGCN采用蒙特卡洛近似来计算这个结果。许多生成网络也被引入用于图数据以捕捉不确定性。基于自编码器[14]、[15]，提出了VGAE[16]来学习图的低维潜在表示，这可以自然地结合节点特征。然而，这些方法有明显的缺点。例如，它们通常假设后验分布是高斯分布，这限制了VGAE中变分推断的灵活性，当真实后验分布明显违反高斯分布时尤为如此。在[45]中，提出了通过替代先验分布来解决这个问题，但尚未产生令人满意的结果。归一化流（NFs）作为一种灵活的密度估计工具应运而生[17]、[18]、[19]、[20]。通过一系列具有可处理雅可比矩阵的可逆和可微函数将简单分布转换为复杂分布，NFs能够更准确地近似真实后验分布。这种能力在各种应用中都证明了其重要性。例如，基于NF的方法用于分子生成[21]、[22]、[23]，取得了最佳结果。此外，NFs在异常检测[24]和图聚类[25]中也展示了其效用。为了扩展NFs在图数据中的适用性，Liu等人[26]引入了一种基于RealNVP[20]的可逆图神经网络（RevGNN）。这种方法使消息传递计算完全可逆，从而可以直接从GNN表示重建输入节点特征。