图神经网络GNN、GCN、GAE、GRNN、GRL详细解释

时间:2024-03-03 14:30:00

论文地址Deep Learning on Graphs: A Survey

一、图的不同种类深度学习方法

img

1、主要分为三大类:半监督学习,包括图神经网络和图卷积神经网络;

2、无监督学习图自编码机;

3、最新的进展,图对抗神经网络和图强化学习。分析了不同方法的特点和联系。

img

二、图神经网络 (GNN)

图神经网络是图数据最原始的半监督深度学习方法。

GNN的思路很简单:为了编码图的结构信息,每个节点可以由低维状态向量表示。对于以图为中心的任务,建议添加一个特殊节点,这个节点具有与整个图相对应的唯一属性。

回顾过去,GNN统一了一些处理图数据的早期方法,如递归神经网络和马尔可夫链。

展望未来,GNN中的概念具有深远的启示:许多最先进的GCN实际上遵循与邻近节点交换信息的框架。事实上,GNN和GCN可以统一到一个通用框架中,GNN相当于GCN使用相同层来达到的稳定状态。

从概念角度来看,GNN是非常重要的,但它也有几个缺点:

  • 首先,在其计算过程中,公式(具体公式可查看原文)中的映射必须是压缩映射,这就严重限制了建模能力。

  • 其次,由于在梯度下降步骤之间需要许多迭代,因此GNN在计算上的代价是昂贵的。

或许是因为这些原因,GNN并未被社区所熟知。

三、图卷积网络 (GCN)

除了GNN,图卷积网络(GCN)是图的另一类半监督方法。由于GCN通常可以像标准的CNN那样通过反向传播来训练特定任务的损失,所以本文主要关注其采用的体系结构。

下表总结了本文所研究的GCN的主要特征:

不同图卷积网络之间的比较

img

可以看到在本文所研究的22种GCN方法中,从类型角度看分为两种,一种是光谱域(Spectral)、另一种是空间域(Spatial)。

img

三、图自编码器 (GAE)

自编码器(AE)和变分自编码器(VAE)广泛应用于无监督学习中,它们适用于学习无监督信息的图节点表示。

下表总结了本文所研究的GAE主要特征:

不同GAE之间的比较

img

可以看到,在本文所研究的10种GAE方法中,7种属于自编码器(AE)、3种属于变分自编码器(VAE)。

每种方法采用的降维方法也有所不同,主要包括L2-Reconstruction、拉普拉斯特征映射(Laplacian Eigenmap)、递归Reconstruction、排序、GAN等等。

在可扩展性、节点特征以及其它改进方面也各不相同。

四、最新的进展

img]

4.1、图递归神经网络

递归神经网络(RNN),例如GRU或LSTM是建模序列数据的一个实际标准,在GNN中用于模拟节点状态。

RNN也可以用于图级别。为了消除歧义,我们将这种架构称为Graph RNNs。

You et al. [94]将Graph RNN应用于图生成问题。

具体来说,他们采用两个RNN,一个用于生成新的节点,另一个用于以自回归的方式为新添加的节点生成边。结果表明,与传统的基于规则的图生成模型相比,这种分层RNN结构在具有可接受的时间复杂度的同时,能够有效地从输入图中学习。

动态图神经网络提出利用 time-aware LSTM来学习动态图中的节点表示。作者表明, time-aware LSTM可以很好地建模边形成的顺序和时间间隔,从而有利于图的广泛应用。

也可以将Graph RNN与其他架构(如GCN或GAE)结合使用。例如RMGCNN将LSTM应用于GCN的结果,逐步重构图,如图所示,旨在解决图的稀疏性问题。Dynamic GCN应用LSTM在动态网络中收集不同时间片段的GCN结果,目的是获取空间和时间图信息。

img

4.2、图强化学习

GCPN[98]利用RL生成目标导向的分子图,以处理不可导目标和约束。实验结果证明了GCPN在各种图生成问题中的有效性。

MolGAN[99]也采用了类似的思想,即使用RL生成分子图。MolGAN建议直接生成完整的图,而不是通过一系列的动作来生成图,这对小分子很有效。