循环神经网络( Recurrent Neural Networks, RNN)是具有时间联结的前馈神经网络。在RNN中,它可以通过每层之间节点的连接结构来记忆之前的信息，并利用这些信息来影响后面节点的输出。与此同时，RNN还可以充分挖掘序列数据中的时序信息以及语义信息，因此，在处理时序数据时，它比全连接神经网络和CNN更具有深度表达能力。目前，RNN已广泛应用于语音识别、语言模型、机器翻译、时序分析等各个领域。
长短期记忆网络(Long Short-Term Memory,LSTM)是为了解决RNN长序列训练过程中的梯度消失问题而专门设计出来的循环神经网络的-种变体。 LSTM的核心是细胞状态,它主要通过输人门，输出门、遗忘门来控制信息的增加和删除。
图神经网络(Graph Neural )的概念由Gori等人于2005年首先提出，并由Scarselli 等人于2009年进一-步发展。近年来，随着非欧氏空间的图数据增多，人们对深度学习方法在图数据上的扩展越来越感兴趣。在深度学习的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想.定义和设计了用于处理图数据的神经网络结构，由此衍生出一个新的研究热点一“图神经网络”。
目前GNN在社交网络知识图谐推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。
GNN主要分为图卷积网络(Graph Convolution )、图注意力网络(Graph Attention Networks)、 图自编码器(Graph Autoencoders)、 图生成网络(GraphGenerative Networks)和图时空网络(Graph Spatial-temporal Networks)五类。
图卷积网络是近年来逐渐流行的一种神经网络结构。不同于只能用于网格结构(Grid-based)数据的传统网络模型LSTM和CNN,图卷积网络能够处理具有广义拓扑图结构的数据,并深人发掘其特征和规律，例如PageRank引用网络、社交网络、通信网络、蛋白质分子结构等一系列具有空间拓扑图结构的不规则数据。
生成对抗网络CGenerative Adversaral )是一种深度 学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。GAN 主要由两部分组成:生成模型(generative model)和判别模型discriminative model)。生成模型是一种生 成网络，负责生成数据，一开始时接收一-个随机噪音。判别模型是-.个判别网络，判断接收的图片是不是真实的图片。
GAN的主要思想来自于零和博弈的思想,GAN的博弈过程可以描述为:生成器生成数据后交给判别器判断是真实数据的可能性，可能性越大得分越高，如果判断器给出的得分低，那生成器就需要根据打分和真实数据获得的损失函数来更新权重，重新生成数据。以此循环直到判别器的打分为0.5，即判别器无法判断生成器生成的假数据,最终达到的平衡点称为纳什平衡。
原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但在实际应用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的*性而导致输出不理想。