本人没有找到相关的文献详细介绍各个网络的关系的，就自己总结了一下，如果有不对的地方，请指出。
目录
1 思维导图
1 神经网络雏形–感知机
简介： 感知机（Perceptron）由两层神经元组成。如图所示，输入层接收外界输入信号后传递给输出层，输出层是M—P神经元，也称为“阈值逻辑单元”。
感知机只有输出层神经元需要**函数**，只有一层功能神经元，学习能力非常有限。感知机解决的都是线性可分的问题。要解决非线性可分问题，需要使用多层功能神经元。输出层和输入层之间的神经元成为隐层或者隐含层，隐含层层与输出层神经元都是有**函数的功能神经元。至此引入多层前馈神经网络。
2 前馈神经网络(feedforward neural network，FNN)
2.1 单层前馈神经网
2.1.1 径向基神经网络(Radial Basis Function，RBF)
简介： 径向基函数 RBF 神经网络（简称 RBF 网络）是一个只有一个隐藏层的三层前馈神经网络结构，它与前向网络相比最大的不同在于，隐藏层得转换函数是局部响应的高斯函数，而以前的前向网络、转换函数都是全局响应的函数。由于这样的不同，如果要实现同一个功能，RBF 网络的神经元 个数
就可能要比前向 BP 网络的神经元个数要多。 但是，RBF 网络所需要的训练时间却比前向 BP 网络的要少。
使用径向基函数作为隐层神经元**函数，而输出层则是对隐层神经元输出的线性组合。假定输入为d维向量x。输出为实值，则RBF网络可以表示为：
其中q为隐层神经元个数，ci和wi分别是第i个隐层神经元所对应的中心和权重， ρ \rho ρ(x,ci)设计径向基函数，这是某种沿径向对称的标量函数，通常定义为样本x到数据中心ci之间欧式距离的单调函数，常用的高斯径向基函数形如
2.1.1.1 广义回归神经网络(General Regression Neural Network，GPNN)
简介：径向基神经元和线性神经元可以建立广义回归神经网络，它是径RBF网络的一种变化形式，经常用于函数逼近。在某些方面比RBF网络更具优势。GRNN与PNN一样也是一个四层的网络结构:输入层、模式层、求和层、输出层。
优点：GRNN具有很强的非线性映射能力和学习速度，比RBF具有更强的优势，网络最后普收敛于样本量集聚较多的优化回归，样本数据少时，预测效果很好， 网络还可以处理不稳定数据。广义回归神经网络对x的回归定义不同于径向基函数的对高斯权值的最小二乘法叠加，他是利用密度函数来预测输出。
与PNN的区别：GRNN用于求解回归问题，而PNN用于求解分类问题。
2.1.1.2 概率神经网络(Probabilistic Neural Network，PNN)
简介：径向基神经元和竞争神经元还可以组成概率神经网络。PNN也是RBF的一种变化形式，结构简单训练快捷，特别适合于模式分类问题的解决。理论基础是贝叶斯最小风险准则，即是贝叶斯决策理论。
结构：由输入层、隐含层、求和层、输出层组成。也把隐含层称为模式层，把求和层叫做竞争层
第一层为输入层，用于接收来自训练样本的值，将数据传递给隐含层，神经元个数与输入向量长度相等。
第二层隐含层是径向基层，每一个隐含层的神经元节点拥有一个中心，该层接收输入层的样本输入，计算输入向量与中心的距离，最后返回一个标量值，神经元个数与输入训练样本个数相同。
优点：
- 训练容易，收敛速度快，从而非常适用于实时处理。在基于密度函数核估计的PNN网络中，每一个训练样本确定一个隐含层神经元，神经元的权值直接取自输入样本值。口可以实现任意的非线性逼近，用PNN网络所形成的判决曲面与贝叶斯最优准则下的曲面非常接近。
- 隐含层采用径向基的非线性映射函数，考虑了不同类别模式样本的交错影响，具有很强的容错性。只要有充足的样本数据，概率神经网络都能收敛到贝叶斯分类器，没有BP网络的局部极小值问题。
- 隐含层的传输函数可以选用各种用来估计概率密度的基函数，且分类结果对基函数的形式不敏感。
- 扩充性能好。网络的学习过程简单，增加或减少类别模式时不需要重新进行长时间的训练学习。
- 各层神经元的数目比较固定，因而易于硬件实现。
2.2 多层前馈神经网络
2.2.1 BP神经网络（Back Propagation，BP）
强化多层神经网络的训练，必须引入算法，其中最成功的是误差逆传播算法（Back Propagation，简称BP算法）。BP算法不仅用于多层前馈神经网络，还可以用于训练递归神经网络。解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP神经网络
BP神经网络网络主要四个方面的应用：
1)函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。
2)模式识别：用一个待定的输出向量将它与输入向量联系起来。
3)分类：把输入向量所定义的合适方式进行分类。
4)数据压缩：减少输出向量维数以便于传输或存储。
2.2.2 全连接神经网络
全连接神经网络(fully connected neural network)，顾名思义，就是相邻两层之间任意两个节点之间都有连接。全连接神经网络是最为普通的一种模型（比如和CNN相比），由于是全连接，所以会有更多的权重值和连接，因此也意味着占用更多的内存和计算。
如图定义了一个两层的全连接神经网络。
2.2.3 卷积神经网络(Convolutional Neural Networks, CNN)
参考本人的另一篇博客
卷积神经网络CNN（Convolutional Neural Networks, CNN） 综述
3 反馈型神经神经网络
反馈神经网络中神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。
3.1 递归神经网络(Recurrent neural network，RNN)
与前馈神经网络不同"递归神经网络" (recurrent neural networks)允许网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号.这样的结构与信息反馈过程，使得网络在 t 时刻的输出状态不仅与 t 时刻的输入有关，还与 t - 1 时刻的网络状态有关，从而能处理与时间有关的动态变化。
3.1.1 Elman网络
Elman 网络是最常用的递归神经网络之 一，其结构如图所示，它的结构与多层前馈网络恨相似，但隐层神经元的输出被反馈回来，与下一时刻输入层神经元提供的信号一起，作为隐层神经元在下一时刻的输入层神经元通常采Sigmoid **函数，而网络的训练则常通过推广的BP算法进行。
3.2 Hopfield神经网络
一种基于能量的模型（Energy Based Model，EBM）——可用作联想存储的互连网络，称该模型为 Hopfield 网络。根据其**函数的不同，Hopfield 神经网络有两种：离散Hopfield 网络（Discrete Hopfield Neural Network，DHNN）和连续Hopfield 网络（Continues Hopfield Neural Network，CHNN）。
具体讲解参考博客：
Hopfield 网络详细讲解
3.3 玻尔兹曼机（Boltzmann）
简介： Boltzmann 机 就是一种"基于能量的模型" （Energy Based Model，EBM） ，常见结构如图所示，其神经元分为两层:显层与隐层.显层用于表示数据的输入与输出，隐层则被理解为数据的内在表达. Boltzmann 机中的神经元都是布尔型的吗即只能取 0、 1 两种状态，状态 1 表示**，状态0表示抑制。
能量定义：令向量 s ∈ \in ∈ {0,1}^n 表示n个神经元的状态， ωij表示神经元i与j训练容易，收敛速度快，从而非常适用于实时处理之间的连接权。 θ \theta θi也表示神经元i的阈值，则状态向量s所对应的 Boltzmann 机能量定义为
网络中的神经元以任意不依赖于输入值的顺序进行更新，则网络最终将达到 Boltzmann 分布，此时状态向量 s 出现的概率将仅由其能量与所有可能状态向量的能量确定:
Boltzmann 机的训练过程：将每个训练样本视为一个状态向量，使其出现的概率尽可能大.标准的 Boltzmann 机是一个全连接图，训练网络的复杂度很高，这使其难以用于解决现实任务. 现实中 常采用受限Boltzmann机(Restricted Boltzmann Machine，简称 RBM) . 如下图所示，受限 Boltzmann 机仅保留显层与隐层之间的连接 从而将 Boltzmann 机结构由完全图简化为二部图。
4 竞争型学习神经网络
竞争型学习（compaetitive learning）是神经网络的中一种常用的无监督学习策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个获胜的神经元被**，其他神经元的状态被抑制，中级机制也别称为"胜者通吃"原则。
4.1 自适应谐振理论网络(Adaptive Resonance Theory，ART)
简介：是一种竞争学习型神经网络。该网络由比较层、识别层、识别阈和重要模块构成。其中，比较层负责接受输入样本，并将其传递给识别层神经元。识别曾每个神经元对应一个模式类，神经元数目可在训练过程中动态增长以增加新的模式类。
优点：课进行增量学习（incremental Learning）或者在线学习（online learning）
4.2 自组织映射神经网络(Self-Organizing Map，SOM)
简介： SOM（Self-Organizing Map,自组织映射）网络，是一种竞争学习型的无监督神经网络,它能将高维输入数据映射到低维空间（通常是二维），同时保持输入数据在高维空间的拓扑结构，即将高维空间中想死的样本点映射到网络输出层中的邻近神经元。
如图所示， SOM 网络中的输出层神经元以矩阵方式排列在二维空间中，每个神经元都拥有一个权向量，网络在接收输入向量后，将会确定输出层获胜神经元，它决定了该输入向量在低维空间中的位置.
SOM的训练目标：每个输出层神经元找到合适的权向量，以达到保持拓扑结构的目的
SOM训练过程: 在接收到一个训练样本后.每个输出层神经局会计算该样本与自身携带的权向量之间的距离，距离最近的神经兀成为竞争获胜者，称为最佳匹配单元 (best matching unit). 然后，最佳匹配单元及其邻近神经
元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小.这个过程不断迭代，直至收敛.
5 结构自适应神经网络
一般的神经网络模型通常假定 网络结构是事先固定的，训练的目的是利用训练样本来确定合适的连接权、 阙值等参数.与此不同， 结构自适应网络则将网络结构也当作学习的目标之 一，并希望能在训练过程中找到最利合数据特点的网络结构
5.1 级联相关 (Cascade-Correlation) 网络
简介：,是结构自适应网络的重要代表。级联相关网络有两个主要成分"级联"和"相关" 级联是指建立层次连接的层级结构.在开始训练时，网络只有输入层和输出层，处于最小拓扑结
构;随着训练的进行，如图所示，新的隐层神经元逐渐加入，从而创建起层级结构. 当新的隐层神经元加入时，其输入端连接权值是冻结固 定的相关是指通过最大化新神经元的输出与网络误差之间的相关性(correlation)来训练相关的参数.
优缺点：与一般的前馈神经网络相比，级联相关网络无需设置网络层数、隐层神经元数目，且训练速度较快，但其在数据较小时易 陷入过拟合
6 线性神经网络
简介： 线性神经网络最典型的例子是自适应线性元件（Adaptive Linear Element，Adaline）。自适应线性元件 20 世纪 50 年代末由 Widrow 和 Hoff 提出，主要用途是通过线性逼近一个函数式而进行模式联想以及信号滤波、预测、模型识别和控制等。
线性神经网络与感知器的主要区别：
感知器的传输函数只能输出两种可能的值，而线性神经网络的输出可以取任意值，其传输函数是线性函数。线性神经网络采用
Widrow-Hoff 学习规则，即 LMS（Least Mean Square）算法来调整网络的权值和偏置。线性神经网络在收敛的精度和速度上较感知器都有了较大提高，但其线性运算规则决定了它只能解决线性可分的问题。
线性神经网络在结构上与感知器网络非常相似，只是神经元传输函数不同。
6.1 Madaline 神经网络
若网络中包含多个神经元节点，就能形成多个输出，这种线性神经网络叫Madaline神经网络。
Madaline 可以用一种间接的方式解决线性不可分的问题，方法是用多个线性函数对区域进行划分，然后对各个神经元的输出做逻辑运算。如图所示，Madaline 用两条直线实现了异或逻辑。
７对抗神经网络GAN
简介： 对抗神经网络其实是两个网络的组合，可以理解为一个网络生成模拟数据，另一个网络判断生成的数据是真实的还是模拟的。生成模拟数据的网络要不断优化自己让判别的网络判断不出来，判别的网络也要不断优化自己让判断的更加精确。两者的关系形成对抗，因此叫对抗神经网络。
结构：GAN由generator（生成模型）和discriminator（判别式模型）两部分构成。 二者结合之后，经过大量次数的迭代训练会使generator尽可能模拟出以假乱真的样本，而discrimator会有更精确的鉴别真伪数据的能力，最终整个GAN会达到所谓的纳什均衡，即discriminator对于generator的数据鉴别结果为正确率和错误率各占50%。
- generator网络：主要是从训练数据中产生相同分布的samples，对于输入x，类别标签y，在生成模型中估计其联合概率分布。
- discriminator网络：判断输入的是真实数据还是generator生成的数据，即估计样本属于某类的条件概率分布。它采用传统的监督学习的方法。
举例：如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。G， D的主要功能是：
- G是一个生成式的网络，它接收一个随机的噪声z（随机数），通过这个噪声生成图像
- D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片
