arXiv综述论文“Graph Neural Networks: A Review of Methods and Applications”

时间：2024-10-13 12:55:54

arXiv于2019年7月10日上载的GNN综述论文“Graph Neural Networks:
A Review of Methods and Applications“。
在这里插入图片描述
摘要：许多学习任务需要处理图数据，该图数据包含元素之间的丰富关系信息。建模物理系统、学习分子指纹、预测蛋白质界面以及对疾病进行分类都需要一个模型从图输入学习。在其他如文本和图像之类非结构数据学习的领域中，对提取的结构推理，例如句子的依存关系树和图像的场景图，是一个重要的研究课题，它也需要图推理模型。图神经网络（GNN）是连接主义（connectionist ）模型，可通过图节点之间传递消息来捕获图的依赖性。与标准神经网络不同，图神经网络保留了一种状态，该状态可从其邻域以任意深度表示信息。尽管发现原始GNN对固定点难以训练，但是网络体系结构、优化技术和并行计算的最新进展已能做到成功学习。近年来，基于图神经网络变型的系统，例如图卷积网络（GCN）、图注意力网络（GAT）、门控图神经网络（GGNN），已在上述许多任务有所突破。本次综述对现有的图神经网络模型进行了详细的回顾，对应用程序进行了系统分类，并提出了四个未解决的问题，以供将来研究。

GNN的局限性在于：

  1. 针对固定点迭代更新节点的隐状态效率低下。如果放宽不动点的假设，可以设计一个多层GNN以获得节点及其邻域的稳定表示。
  2. GNN在迭代中使用相同的参数，而最流行的神经网络在不同的层中使用不同的参数，这是一种分层的特征提取方法。此外，节点隐状态的更新是一个串行过程，受益于RNN内核（如GRU和LSTM）。
  3. 图边缘还有一些特征，这些特征无法在原始GNN有效建模。例如，知识图的边缘具有关系的类型，通过不同边缘传播的消息根据其类型而有所不同。此外，如何学习边缘的隐状态也是一个重要的问题。
  4. 如果专注于节点的表示而不是图本身，则不适合使用固定点，因为固定点的分布表示会很平滑，并且区分每个节点的信息量较小。

各种GNN结构概览图如下：
在这里插入图片描述
在这里插入图片描述
GNN的不同变型如下所示：
在这里插入图片描述
在这里插入图片描述
图神经网络已在监督、半监督、无监督和强化学习设置的广泛问题域中进行了探索。 本文将应用划分为三种情况：（1）数据具有明确关系结构的结构化场景情况，例如物理系统、分子结构和知识图； （2）关系结构不明确的非结构场景，包括图像和文字等； （3）其他应用场景，例如生成模型和组合优化问题。 一些GNN的应用领域例子列表如下：
在这里插入图片描述
在这里插入图片描述
图网络（GN，Graph Network）设计基于三个基本原理：灵活的表示、可配置的块内结构和可组合的多块体系结构：

  1. 灵活的表示方式。GN框架支持属性的灵活表示以及不同的图结构。全局、节点和边属性可以使用任意表示形式，但是实向量和张量是最常见的。可以根据任务的特定需求简单地定制GN块的输出。就图结构而言，该框架既可以应用于图结构明确的结构场景，也可以应用于相关结构被推断或假设的非结构场景。
  2. 可配置的块内结构。GN块的功能及其输入可以有不同的设置，以便GN框架在块内结构配置中提供灵活性。基于不同的结构和功能设置，GN框架可以表示各种模型（例如MPNN，NLNN和其他变型）。
  3. 可组合的多块体系结构。可以用GN块来构造复杂的体系结构。可以将共享或不共享参数的任意数量GN块按顺序组成起来。用于构建GN架构的其他技术也可能有用，例如跳连接、LSTM或GRU样式的门控方案等。

如图是GN块构成的不同结构：
在这里插入图片描述
下图是GNN应用的场景例子：
在这里插入图片描述
几个公开未解决的问题：

  • 浅结构:传统的深度神经网络可以堆叠数百层以获得更好的性能，这是因为深结构具有更多参数，从而显着提高了表达能力。但是，图神经网络总是很浅，大多数不超过三层。堆叠多个GCN层将导致平滑度过高，也就是说，所有顶点都将收敛到相同的值。尽管一些研究人员设法解决了这个问题，但仍然是GNN的最大局限性。设计真正的深度GNN是未来研究的一个令人兴奋的挑战，并且将对理解GNN做出巨大贡献。
  • 动态图：另一个具有挑战性的问题是如何处理具有动态结构的图。静态图是稳定的，因此可以对其进行建模，而动态图则引入了变化的结构。当边缘和节点出现或消失时，GNN无法自适应改变。动态GNN正在积极研究中，我们相信这将成为通用GNN稳定性和适应性的重要里程碑。
  • 非结构场景：尽管已经讨论了GNN在非结构性场景的应用，但是没有最佳方法可以从原始数据生成图。在图像领域，一些工作用CNN获得特征图，然后升采样形成超像素作为节点，而其他工作则直接利用某些目标检测算法来获取目标节点。在文本领域，一些工作采用句法树（syntactic trees）作为句法图（syntactic graph），而另一些工作则采用全连接图。因此，找到最佳的图生成方法将为GNN发挥提供更大的领域。
  • 扩展性：对几乎所有图嵌入算法而言，如何在网络规模条件（如社交网络或推荐系统）中应用嵌入方法一直是致命的问题，GNN也不例外。 扩展GNN十分困难，因为许多核心步骤在大数据环境消耗大量计算资源。 有几个例子：首先，图数据不是规则的欧氏，每个节点有自己的邻域结构，无法应用批处理。 当数百万个节点和边存在，计算图拉普拉斯算子是不可行的。 此外，需要指出，尺度决定了算法是否能够被实际应用。

相关文章