Deep Learning 22：总结一些deep learning的基本知识

1.交叉熵代价函数

2.正则化方法：L1和L2 regularization、数据集扩增、dropout

3. 数据预处理

4.机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

5.随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比

随机梯度下降中，momentum的理解

Optimization: Stochastic Gradient Descent

6.【机器学习】神经网络-激活函数-面面观(Activation Function)

7.ReLu(Rectified Linear Units)激活函数总结