1、神经网络
深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型。
- 感知机的模型，它是一个有若干输入和一个输出的模型，如下图:
输出和输入之间学习到一个线性关系，得到中间输出结果：
接着是一个神经元**函数:
从而得到我们想要的输出结果1或者-1。
这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。
-
而神经网络则在感知机的模型上做了扩展，总结下主要有三点：
（1）加入了隐藏层，隐藏层可以有多层，增强模型的表达能力，如下图实例，当然增加了这么多隐藏层模型的复杂度也增加了好多。
（2）输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。
（3） 对**函数做扩展，感知机的**函数是sign(z)，虽然简单但是处理能力有限，因此神经网络中一般使用的其他的**函数，比如我们在逻辑回归里面使用过的Sigmoid函数，即：
还有后来出现的tanx, softmax,和ReLU等。通过使用不同的**函数，神经网络的表达能力进一步增强。对于各种常用的**函数，我们在后面再专门讲。
2、DNN模型
-
DNN可以理解为有很多隐藏层的神经网络。这个很多其实也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）。
-
从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。
层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系z=∑wixi+b加上一个**函数σ(z)。
由于DNN层数多，则我们的线性关系系数ww和偏倚bb的数量也就是很多了。
3、DNN前向传播算法数学原理
假设我们选择的**函数是σ(z)，隐藏层和输出层的输出值为a，则对于下图的三层DNN,利用和感知机一样的思路，我们可以利用上一层的输出计算下一层的输出，也就是所谓的DNN前向传播算法。
对于第二层的的输出，有：
对于第三层的的输出，有：
将上面的例子一般化，假设第L−1层共有m个神经元，则对于第L层的第j个神经元的输出，有：
使用矩阵法则的简洁展示，第l层的输出为：
4、DNN前向传播算法
所谓的DNN的前向传播算法也就是利用我们的若干个权重系数矩阵W,偏倚向量b来和输入值向量x进行一系列线性运算和**运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
输入: 总层数L，所有隐藏层和输出层对应的矩阵W,偏倚向量b，输入值向量x
输出：输出层的输出
（1）初始化
（2）for l=2 to L，计算：
最后的结果即为输出
。
- 单独看DNN前向传播算法，似乎没有什么大用处，而且这一大堆的矩阵W，偏倚向量b对应的参数怎么获得呢？怎么得到最优的矩阵W，偏倚向量b呢？这需要反向传播算法求最优解。
5、DNN反向传播算法（BP）要解决的问题
回到监督学习的一般问题，假设我们有m个训练样本：{(x1,y1),(x2,y2),…,(xm,ym)}{(x1,y1),(x2,y2),…,(xm,ym)},其中x为输入向量，特征维度为n_in,而y为输出向量，特征维度为n_out。我们需要利用这m个样本训练出一个模型，当有一个新的测试样本(xtest，?)来到时, 我们可以预测ytest向量的输出。
如果我们采用DNN的模型，即我们使输入层有n_in个神经元，而输出层有n_out个神经元。再加上一些含有若干神经元的隐藏层。此时我们需要找到合适的所有隐藏层和输出层对应的线性系数矩阵W，偏倚向量b。让所有的训练样本输入计算出的输出尽可能的等于或很接近样本输出。怎么找到合适的参数呢？
这里就很容易联想到可以用一个合适的损失函数来度量训练样本的输出损失，接着对这个损失函数进行优化求最小化的极值，对应的一系列线性系数矩阵W,偏倚向量b即为我们的最终结果。在DNN中，损失函数优化极值求解的过程最常见的一般是通过梯度下降法来一步步迭代完成的，当然也可以是其他的迭代方法比如牛顿法与拟牛顿法。
- 对DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为我们的反向传播算法。
6、DNN反向传播算法（BP）的基本思路
在进行DNN反向传播算法前，我们需要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。也许会问：训练样本计算出的输出是怎么得来的？这个输出是随机选择一系列W，b，用前向传播算法计算出来的。即通过一系列的计算：
回到损失函数，DNN可选择的损失函数有不少（第8节介绍），为专注算法，这里我们使用最常见的均方差来度量损失。即对于每个样本，我们期望最小化下式：
其中，
和y为特征维度为n_out的向量,而
为S的L2范数。
损失函数有了，现在我们开始用梯度下降法迭代求解每一层的W，b。
首先是输出层第L层。注意到输出层的W，b满足下式：
这样对于输出层的参数，我们的损失函数变为：
这样求解W,b的梯度就简单了：
注意上式中有一个符号⊙,它代表Hadamard积。
我们注意到在求解输出层的W,b的时候，有公共的部分
，因此我们可以把公共的部分即对
先算出来，记为：
现在终于把输出层的梯度算出来了，那么如何计算上一层L−1层的梯度，上上层L−2层的梯度呢？这里需要一步步的递推，注意到对于第ll层的未**输出
，它的梯度可以表示为:
如果我们可以依次计算出第ll层的
，则该层的
，
很容易计算？为什么呢？注意到根据前向传播算法，有：
所以根据上式我们可以很方便的计算出第l层的
，
的梯度如下:
那么现在问题的关键就是要求出
了。这里我们用数学归纳法，第L层的
上面我们已经求出， 假设第l+1层的
已经求出来了，那么我们如何求出第l层的
呢？我们注意到：
可见，用归纳法递推
和
的关键在于求解
。
而
和
的关系其实很容易找出：
这样很容易求出：
将上式带入上面
和
关系式我们得到：
现在我们得到了
的递推关系式，只要求出了某一层的
，求解
，
的对应梯度就很简单的。
7、DNN反向传播算法（BP）过程
现在我们总结下DNN反向传播算法的过程。由于梯度下降法有批量（Batch），小批量(mini-Batch)，随机三个变种，为了简化描述，这里我们以最基本的批量梯度下降法为例来描述反向传播算法。实际上在业界使用最多的是mini-Batch的梯度下降法。不过区别仅仅在于迭代时训练样本的选择而已。
输入: 总层数L，以及各隐藏层与输出层的神经元个数，**函数，损失函数，迭代步长
,最大迭代次数MAX与停止迭代阈值，
输入的m个训练样本{(x_1,y_1), (x_2,y_2), …, (x_m,y_m)}
输出：各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b
（1）初始化各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b的值为一个随机值。
（2）for iter to 1 to MAX：
(2-1) for i =1 to m：
（a）将DNN输入
设置为
。
（b） for l=2 to L，进行前向传播算法计算：
（c）通过损失函数计算输出层的
（d）for l= L-1 to 2, 进行反向传播算法计算
for l = 2 to L，更新第l层的
，
:
如果所有W，b的变化值都小于停止迭代阈值
，则跳出迭代循环到步骤3。
（3） 输出各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b。