使用动量(Momentum)的SGD、使用Nesterov动量的SGD

使用动量(Momentum)的SGD、使用Nesterov动量的SGD

参考：使用动量(Momentum)的SGD、使用Nesterov动量的SGD

一. 使用动量(Momentum)的随机梯度下降

虽然随机梯度下降是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法旨在加速学习（加快梯度下降的速度），特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法累积了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。

简单介绍一下什么是指数加权平均(exponential weight averages)：指数加权平均值又称指数加权移动平均值，局部平均值，移动平均值。加权平均这个概念都很熟悉，即根据各个元素所占权重计算平均值。指数加权平均中的指数表示各个元素所占权重呈指数分布。假设存在数列$(Q_1,Q_2,Q_3,...)$(Q1​,Q2​,Q3​,...) ，令$V_0=0$V0​=0,

$V_1=\beta V_0+(1-\beta)Q_1$V1​=βV0​+(1−β)Q1​

$V_2=\beta V_1+(1-\beta)Q_2$V2​=βV1​+(1−β)Q2​

$V_3=\beta V_2+(1-\beta)Q_3$V3​=βV2​+(1−β)Q3​

其中$\beta\in[0,1]$β∈[0,1]为衰减系数，$V_1,V_2,V_3....$V1​,V2​,V3​....称为该数列的指数加权平均。为了更好地理解指数这两个字，我们展开$V_{100}$V100​（为了方便书写，令$\beta=0.9$β=0.9 ，$1-\beta=0.1$1−β=0.1 ）：

$V_{100}=0.1Q_{100}+0.1*0.9Q_{99}+0.1*0.9^2Q_{98}+0.1*0.9^3Q_{97}+......+0.1*0.9^{99}Q_{1}$V100​=0.1Q100​+0.1∗0.9Q99​+0.1∗0.92Q98​+0.1∗0.93Q97​+......+0.1∗0.999Q1​

从上式可以看出指数加权平均是有记忆的，每一个V都包含了之前所有数据的信息。

在实践中，在衰减初期我们需要对偏差进行修正：

$V_t=\frac{V_t}{1-\beta^t}$Vt​=1−βtVt​​

动量梯度下降的参数更新公式：

在这个公式中，我们可以看到参数更新时并不是直接减去$a\mathrm{d}W$adW和$a\mathrm{d}b$adb，而是计算出了一个$v_{\mathrm{d}W}$vdW​和$v_{\mathrm{d}b}$vdb​。这又是什么呢？其实这就是指数加权平均。使用上面的公式，可以将之前的$\mathrm{d}W$dW和$\mathrm{d}b$db都联系起来，不再是每一次梯度都是独立的情况。让每一次的参数更新方向不仅仅取决于当前位置的梯度，还受到上一次参数更新方向的影响。

为了更加直观地理解，画个图吧。

注意$\beta=0$β=0时，就是传统的SGD。传统的SGD和使用动量的SGD对比图如下：

**带有动量的SGD本质：使用指数加权平均之后的梯度代替原梯度进行参数更新。**因为每个指数加权平均后的梯度含有之前梯度的信息，动量梯度下降法因此得名。

**带有动量的SGD算法如下：**在传统的SGD中引入变量v， 其实这个v 就是梯度的改变量。

动量参数$\alpha\in[0,1)$α∈[0,1)，决定了之前梯度的贡献衰减得有多快。如果动量算法总是观察到梯度g，那么他会在方向 -g 上不停加速，直到达到最终速度，其中步长为

$\frac{1}{1-\alpha}\epsilon g$1−α1​ϵg

因此将动量的超参数视为$\frac{1}{1-\alpha}$1−α1​有助于理解。在实践中，动量参数 $ \alpha$ 的一般取值为0.5、0.9、0.99，分别对应着最大速度2倍，10倍，100倍于SGD算法。

带有动量的SGD优点：

（1）可以通过局部极小点；

（2）加快收敛速度；

（3）抑制梯度下降时上下震荡的情况。

下面我们来看看动量法如何帮助我们缓解病态曲率的问题。下图中，梯度大多数发生更新在字形方向上，我们将每次更新分解为W1和W2方向上的两个分量。如果我们分别累加这些梯度的两个分量，那么W1方向上的分量将互相抵消，而W2方向上的分量得到了加强。

也就是说，基于动量法的更新，积累了W2方向上的分量，清空了W1方向上的分量，从而帮助我们更快地通往最小值。从这个意义上说，动量法也有助于抑制振荡。

动量法同时提供了加速度，从而加快收敛。但你可能想要搭配模拟退火，以免跳过最小值。当我们使用动量优化算法的时候，可以解决小批量SGD优化算法更新幅度摆动大的问题，同时可以使得网络的收敛速度更快。

在实践中，动量系数一般初始化为0.5，并在多个时期后逐渐退火至0.9。

二、使用Nesterov动量的SGD

Nesterov是Momentum的变种。与Momentum唯一区别就是，计算梯度的不同。Nesterov动量中，先用当前的速度 $v$v 临时更新一遍参数，在用更新的临时参数计算梯度。因此，Nesterov动量可以解释为在Momentum动量方法中添加了一个校正因子。

完整的Nesterov动量算法如下所示：