论文地址Deep Learning on Graphs: A Survey
一、图的不同种类深度学习方法
1、主要分为三大类:半监督学习,包括图神经网络和图卷积神经网络;
2、无监督学习图自编码机;
3、最新的进展,图对抗神经网络和图强化学习。分析了不同方法的特点和联系。
二、图神经网络 (GNN)
图神经网络是图数据最原始的半监督深度学习方法。
GNN的思路很简单:为了编码图的结构信息,每个节点可以由低维状态向量表示。对于以图为中心的任务,建议添加一个特殊节点,这个节点具有与整个图相对应的唯一属性。
回顾过去,GNN统一了一些处理图数据的早期方法,如递归神经网络和马尔可夫链。
展望未来,GNN中的概念具有深远的启示:许多最先进的GCN实际上遵循与邻近节点交换信息的框架。事实上,GNN和GCN可以统一到一个通用框架中,GNN相当于GCN使用相同层来达到的稳定状态。
从概念角度来看,GNN是非常重要的,但它也有几个缺点:
-
首先,在其计算过程中,公式(具体公式可查看原文)中的映射必须是压缩映射,这就严重限制了建模能力。
-
其次,由于在梯度下降步骤之间需要许多迭代,因此GNN在计算上的代价是昂贵的。
或许是因为这些原因,GNN并未被社区所熟知。
三、图卷积网络 (GCN)
除了GNN,图卷积网络(GCN)是图的另一类半监督方法。由于GCN通常可以像标准的CNN那样通过反向传播来训练特定任务的损失,所以本文主要关注其采用的体系结构。
下表总结了本文所研究的GCN的主要特征:
不同图卷积网络之间的比较
可以看到在本文所研究的22种GCN方法中,从类型角度看分为两种,一种是光谱域(Spectral)、另一种是空间域(Spatial)。
三、图自编码器 (GAE)
自编码器(AE)和变分自编码器(VAE)广泛应用于无监督学习中,它们适用于学习无监督信息的图节点表示。
下表总结了本文所研究的GAE主要特征:
不同GAE之间的比较
可以看到,在本文所研究的10种GAE方法中,7种属于自编码器(AE)、3种属于变分自编码器(VAE)。
每种方法采用的降维方法也有所不同,主要包括L2-Reconstruction、拉普拉斯特征映射(Laplacian Eigenmap)、递归Reconstruction、排序、GAN等等。
在可扩展性、节点特征以及其它改进方面也各不相同。
四、最新的进展
]
4.1、图递归神经网络
递归神经网络(RNN),例如GRU或LSTM是建模序列数据的一个实际标准,在GNN中用于模拟节点状态。
RNN也可以用于图级别。为了消除歧义,我们将这种架构称为Graph RNNs。
You et al. [94]将Graph RNN应用于图生成问题。
具体来说,他们采用两个RNN,一个用于生成新的节点,另一个用于以自回归的方式为新添加的节点生成边。结果表明,与传统的基于规则的图生成模型相比,这种分层RNN结构在具有可接受的时间复杂度的同时,能够有效地从输入图中学习。
动态图神经网络提出利用 time-aware LSTM来学习动态图中的节点表示。作者表明, time-aware LSTM可以很好地建模边形成的顺序和时间间隔,从而有利于图的广泛应用。
也可以将Graph RNN与其他架构(如GCN或GAE)结合使用。例如RMGCNN将LSTM应用于GCN的结果,逐步重构图,如图所示,旨在解决图的稀疏性问题。Dynamic GCN应用LSTM在动态网络中收集不同时间片段的GCN结果,目的是获取空间和时间图信息。
4.2、图强化学习
GCPN[98]利用RL生成目标导向的分子图,以处理不可导目标和约束。实验结果证明了GCPN在各种图生成问题中的有效性。
MolGAN[99]也采用了类似的思想,即使用RL生成分子图。MolGAN建议直接生成完整的图,而不是通过一系列的动作来生成图,这对小分子很有效。