3.1 神经网络概述（Neural Network Overview ）
（神经网络中，我们要反复计算a和z,最终得到最后的loss function）
3.2 神经网络的表示（Neural Network Representation)
3.3 计算一个神经网络的输出（Computing a Neural Network's output )
向量化计算：
详细过程见下: 公式 3.10：
（W---4x3）
3.4 多样本向量化（Vectorizing across multiple examples ）
所以横向矩阵A会扫过不同的训练样本，竖向是矩阵A中的不同指标。
3.5 向 量 化 实 现 的 解 释 (Justification for vectorized implementation)
3.6 激活函数 (Activation functions)
tanh函数
修正线性单元的函数（ReLu）(默认选项！)
如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。
这是很多激活函数的默认选择，如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu 的一个缺点是：当z是负值的时候，导数等于 0。
这里也有另一个版本的 Relu 被称为 Leaky Relu。当z是负值时，这个函数的值不是等于 0，而是轻微的倾斜，如图。这个函数通常比 Relu 激活函数效果要好，尽管在实际中 Leaky ReLu 使用的并不多。
快速概括一下不同激活函数的过程和结论。
- sigmoid 激活函数：除了输出层是一个二分类问题基本不会用它。
- tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
- ReLu 激活函数：最常用的默认函数，，如果不确定用哪个激活函数，就使用 ReLu
- Leaky ReLu： 公式 3.23：