Coursera deeplearning.ai 深度学习笔记1-4-Deep Neural Networks-深度神经网络原理推导与代码实现

在掌握了浅层神经网络算法后，对深度神经网络进行学习。

1. 原理推导

1.1 深度神经网络表示

定义：L表示神经网络总层数，上标[l]代表第l层网络，n^[l]代表第l层的节点数，a^[l]代表第l层的激活，W^[l]和b^[l]为第l层的参数。输入层为第0层a^[0] = x，输出层为第L层a^[L]。

1.2 正向传播(Forward Propagation)

类似浅层神经网络的推导可以得到，对于第l层，针对单个样本，正向传播可以表示为：
z[l]=W[l]a[l−1]+b[l],a[l]=g[l](z[l])(1)
式中，g^[l](z^[l])为第l层的激活函数，且a^[0] = x。针对m个样本，以上标(m)表示第m个样本，将上式改写为：
Z[l]=W[l]A[l−1]+b[l],A[l]=g[l](Z[l])(2)
式中，A^[0] = X，
Z[l]=⎡⎣⎢|z[l](1)||z[l](2)||⋯||z[l](m)|⎤⎦⎥,A[l]=⎡⎣⎢|a[l](1)||a[l](2)||⋯||a[l](m)|⎤⎦⎥(3)
因此，对于以上L层深度神经网络，给定A^[0] = X，正向传播计算流程如下：
A[0]=Xforiinrange(1,L+1):Z[l]=W[l]A[l−1]+b[l]A[l]=g[l](Z[l])(4)
正向传播，实际就是输入A^[l-1]得到A^[l]的过程，同时需要将Z^[l]保存以便于反向传播的计算。
各矩阵维度如下表：

矩阵	A [0] = X	A [l]	W [l]	b [l]	Z [l]
维度	(n[0], m)	(n[l], m)	(n[l], n[l-1])	(n[l], 1)	(n[l], m)

1.3 反向传播(Backward Propagation)

类似浅层神经网络的推导可以得到，对于第l层，针对单个样本，反向传播可以表示为：
dz[l]=da[l]∗g[l]′(z[l])dW[l]=dz[l]a[l−1]Tdb[l]=dz[l]da[l−1]=W[l]Tdz[l](5)
式中，“*”表示元素点乘。拓展到m个样本得到：
dZ[l]=dA[l]∗g[l]′(Z[l])dW[l]=1mdZ[l]A[l−1]Tdb[l]=1mnp.sum(dZ[l],axis=1,keepdims=True)dA[l−1]=W[l]TdZ[l](6)
通过上式便可求出梯度dW和db。
反向传播，实际就是输入dA^[l]得到dA^[l-1]以及梯度dW^[l]和db^[l]的过程，同时需要将dZ^[l]保存以方便计算。
反向传播的初始化如下。由于损失函数表示为：
L(a,y)=−[yloga+(1−y)log(1−a)](7)
则可以求出：
da[L]=dda[L]{−[yloga[L]+(1−y)log(1−a[L])]}=−ya[L]+1−y1−a[L]dA[L]=⎡⎣⎢⎢|−y(1)a[L](1)+1−y(1)1−a[L](1)||−y(2)a[L](2)+1−y(2)1−a[L](2)||⋯||−y(m)a[L](m)+1−y(m)1−a[L](m)|⎤⎦⎥⎥(8)
在反向传播过程中，同样可以求出代价函数如下：
J(w,b)=1m∑i=1mL(a(i),y(i))=−1m∑i=1m[y(i)loga(i)+(1−y(i))log(1−a(i))](9)

1.4 梯度下降(Gradient Descent)

通过反向传播求出了梯度dW和db后，即可用梯度下降法对参数进行更新：
W[l]=W[l]−αdW[l]b[l]=b[l]−αdb[l](10)

1.5 超参数(Hyperparameters)

深度神经网络中主要有以下几个超参数需要调整：
(1) 学习因子α；
(2) 迭代次数iterations；
(3) 隐含层数量L；
(4) 隐含层单元数量n^[1], n^[2], … , n^[L]；
(5) 激活函数的选择。
其他超参数：momentum、mini batch size、regularization parameters等。

2. 代码实现

案例：采用L层深度神经网络，实现猫咪图片的二分类。

各个模块如下：

2.1 初始化initialize

对W随机初始化，并将b初始化为0，核心代码如下：

2.2 正向传播

2.2.1 线性部分linear_forward

采用下式，实现每个节点的线性部分：
Z[l]=W[l]A[l−1]+b[l](11)
核心代码如下：

2.2.2 线性激活部分linear_activation_forward

采用下式，实现sigmoid和ReLU函数的线性激活部分：
A[l]=g[l](Z[l])(12)
核心代码如下：

2.2.3 正向传播forward

利用以上两个函数，实现[Linear -> ReLU](*L - 1) -> [Linear -> Sigmoid]的正向传播过程，核心代码如下：

2.3 计算代价函数compute_cost

核心代码如下：

2.4 反向传播

2.4.1 线性部分linear_backward

采用下式，实现每个节点的线性部分：
dW[l]=1mdZ[l]A[l−1]Tdb[l]=1mnp.sum(dZ[l],axis=1,keepdims=True)dA[l−1]=W[l]TdZ[l](13)
核心代码如下：

2.4.2 线性激活部分linear_activation_backward

采用下式实现sigmoid和ReLU函数的线性激活部分，
dZ[l]=dA[l]∗g[l]′(Z[l])(14)
核心代码如下：

2.4.3 正向传播backward

利用以上两个函数，实现[Linear -> ReLU](*L - 1) -> [Linear -> Sigmoid]的正向传播过程，核心代码如下：

2.5 参数更新update_parameters

利用梯度下降法对参数进行更新，核心代码如下：

2.6 模型构建dnn_model

将上述几个模块组合起来，得到最优参数W和b，核心代码如下：

2.7 样本预测predict

输入样本，利用模型预测样本并计算预测准确率，核心代码如下：

2.8 样本测试

核心代码如下：

得到如下结果。可以看出，代价函数随着迭代次数的增加不断下降，训练样本准确率98.56%，测试样本的准确率80%。

以下代码输出预测错误的图片。

结果如下：

可以看出，该模型对于具备以下特征的图片的分类较为困难：
(1) 猫咪身体位置较偏；
(2) 猫咪与背景颜色相似；
(3) 品种少见的猫咪；
(4) 相机角度特殊；
(5) 图片亮度较差；
(6) 猫咪在图片中太大或者太小。

代码下载地址：https://gitee.com/tuzhen301/Coursera-deeplearning.ai1-4