arXiv综述论文“Graph Neural Networks: A Review of Methods and Applications”

时间:2024-10-13 12:55:54

arXiv于2019年7月10日上载的GNN综述论文“Graph Neural Networks:
A Review of Methods and Applications“。
在这里插入图片描述
摘要:许多学习任务需要处理图数据,该图数据包含元素之间的丰富关系信息。建模物理系统、学习分子指纹、预测蛋白质界面以及对疾病进行分类都需要一个模型从图输入学习。在其他如文本和图像之类非结构数据学习的领域中,对提取的结构推理,例如句子的依存关系树和图像的场景图,是一个重要的研究课题,它也需要图推理模型。图神经网络(GNN)是连接主义(connectionist )模型,可通过图节点之间传递消息来捕获图的依赖性。与标准神经网络不同,图神经网络保留了一种状态,该状态可从其邻域以任意深度表示信息。尽管发现原始GNN对固定点难以训练,但是网络体系结构、优化技术和并行计算的最新进展已能做到成功学习。近年来,基于图神经网络变型的系统,例如图卷积网络(GCN)、图注意力网络(GAT)、门控图神经网络(GGNN),已在上述许多任务有所突破。本次综述对现有的图神经网络模型进行了详细的回顾,对应用程序进行了系统分类,并提出了四个未解决的问题,以供将来研究。

GNN的局限性在于:

  1. 针对固定点迭代更新节点的隐状态效率低下。如果放宽不动点的假设,可以设计一个多层GNN以获得节点及其邻域的稳定表示。
  2. GNN在迭代中使用相同的参数,而最流行的神经网络在不同的层中使用不同的参数,这是一种分层的特征提取方法。此外,节点隐状态的更新是一个串行过程,受益于RNN内核(如GRU和LSTM)。
  3. 图边缘还有一些特征,这些特征无法在原始GNN有效建模。例如,知识图的边缘具有关系的类型,通过不同边缘传播的消息根据其类型而有所不同。此外,如何学习边缘的隐状态也是一个重要的问题。
  4. 如果专注于节点的表示而不是图本身,则不适合使用固定点,因为固定点的分布表示会很平滑,并且区分每个节点的信息量较小。

各种GNN结构概览图如下:
在这里插入图片描述
在这里插入图片描述
GNN的不同变型如下所示:
在这里插入图片描述
在这里插入图片描述
图神经网络已在监督、半监督、无监督和强化学习设置的广泛问题域中进行了探索。 本文将应用划分为三种情况:(1)数据具有明确关系结构的结构化场景情况,例如物理系统、分子结构和知识图; (2)关系结构不明确的非结构场景,包括图像和文字等; (3)其他应用场景,例如生成模型和组合优化问题。 一些GNN的应用领域例子列表如下:
在这里插入图片描述
在这里插入图片描述
图网络(GN,Graph Network)设计基于三个基本原理:灵活的表示、可配置的块内结构和可组合的多块体系结构:

  1. 灵活的表示方式。GN框架支持属性的灵活表示以及不同的图结构。全局、节点和边属性可以使用任意表示形式,但是实向量和张量是最常见的。可以根据任务的特定需求简单地定制GN块的输出。就图结构而言,该框架既可以应用于图结构明确的结构场景,也可以应用于相关结构被推断或假设的非结构场景。
  2. 可配置的块内结构。GN块的功能及其输入可以有不同的设置,以便GN框架在块内结构配置中提供灵活性。基于不同的结构和功能设置,GN框架可以表示各种模型(例如MPNN,NLNN和其他变型)。
  3. 可组合的多块体系结构。可以用GN块来构造复杂的体系结构。可以将共享或不共享参数的任意数量GN块按顺序组成起来。用于构建GN架构的其他技术也可能有用,例如跳连接、LSTM或GRU样式的门控方案等。

如图是GN块构成的不同结构:
在这里插入图片描述
下图是GNN应用的场景例子:
在这里插入图片描述
几个公开未解决的问题:

  • 浅结构:传统的深度神经网络可以堆叠数百层以获得更好的性能,这是因为深结构具有更多参数,从而显着提高了表达能力。但是,图神经网络总是很浅,大多数不超过三层。堆叠多个GCN层将导致平滑度过高,也就是说,所有顶点都将收敛到相同的值。尽管一些研究人员设法解决了这个问题,但仍然是GNN的最大局限性。设计真正的深度GNN是未来研究的一个令人兴奋的挑战,并且将对理解GNN做出巨大贡献。
  • 动态图:另一个具有挑战性的问题是如何处理具有动态结构的图。静态图是稳定的,因此可以对其进行建模,而动态图则引入了变化的结构。当边缘和节点出现或消失时,GNN无法自适应改变。动态GNN正在积极研究中,我们相信这将成为通用GNN稳定性和适应性的重要里程碑。
  • 非结构场景:尽管已经讨论了GNN在非结构性场景的应用,但是没有最佳方法可以从原始数据生成图。在图像领域,一些工作用CNN获得特征图,然后升采样形成超像素作为节点,而其他工作则直接利用某些目标检测算法来获取目标节点。在文本领域,一些工作采用句法树(syntactic trees)作为句法图(syntactic graph),而另一些工作则采用全连接图。因此,找到最佳的图生成方法将为GNN发挥提供更大的领域。
  • 扩展性:对几乎所有图嵌入算法而言,如何在网络规模条件(如社交网络或推荐系统)中应用嵌入方法一直是致命的问题,GNN也不例外。 扩展GNN十分困难,因为许多核心步骤在大数据环境消耗大量计算资源。 有几个例子:首先,图数据不是规则的欧氏,每个节点有自己的邻域结构,无法应用批处理。 当数百万个节点和边存在,计算图拉普拉斯算子是不可行的。 此外,需要指出,尺度决定了算法是否能够被实际应用。