改善深层神经网络第二周

时间:2022-03-29 09:13:32

2.1 mini-batch梯度下降法
小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷,也就是对于m个样本,我们采用x个样子来迭代,
改善深层神经网络第二周
改善深层神经网络第二周
改善深层神经网络第二周
2.2 指数加权平均
改善深层神经网络第二周
改善深层神经网络第二周
2.3 指数加权平均的修正
改善深层神经网络第二周
改善深层神经网络第二周
2.4 Momentum梯度下降
改善深层神经网络第二周
一般梯度下降算法在纵向上比较曲折,横向上缓慢,因此我们希望可以平滑曲线,提高横向速度。
改善深层神经网络第二周
2.5RMSprop
改善深层神经网络第二周
2.6 Adam算法
改善深层神经网络第二周