指数加权平均算法

前言

最近在学习网易云课堂上学习吴恩达的deeplearning课程。在深度学习优化算法中,涉及到指数加权平均算法,这里做一个总结。

问题引入

加权平均数

假如我们现在有365天的温度,要求这365天的平均温度值。

Vaver=(θ1+θ2+θ3+...+θ365)÷365$V_{aver}=({\theta }_1+{\theta }_2+{\theta }_3+...+{\theta }_{365})÷365$
指数加权平均是一种近似求平均的方法。

指数加权平均

vt=βvt−1+(1−β)θt$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$
- vt$v_t$ :代表的是最近的11−β$\frac{1}{1-\beta }$天的平均温度值;
- θt${\theta }_t$：代表的是第t天的温度值;
- β$\beta$ :可调节的超参.

v0=0$v_0=0$
v1=βv0+(1−β)θ1$v_1=\beta v_0+(1-\beta ){\theta }_1$
v2=βv1+(1−β)θ2$v_2=\beta v_1+(1-\beta ){\theta }_2$
v3=βv2+(1−β)θ3$v_3=\beta v_2+(1-\beta ){\theta }_3$

设置不同的β$\beta$会是什么样子呢?

β=0.9$\beta =0.9$,代表的是最近10天的平均温度值,对应下图中的红线.
β=0.98$\beta =0.98$,代表的是最近50天的平均温度值,对应下图中的绿线.
β=0.5$\beta =0.5$,代表的是最近2天的平均温度值,对应下图中的黄线,可以看到这时候和每天的温度值基本就是吻合的.

我们把公式展开一下,看看这个算法是怎么作用于θt${\theta }_t$的,以v100$v_{100}$为例。

v100=0.1θ100+0.9v99 =0.1θ100+0.9(0.1θ99+0.9v98) =… =0.1θ100+0.1∗0.9θ99+0.1∗0.92θ98+…+0.1∗0.999θ1$v_{100}=0.1{\theta }_{100}+0.9v_{99}=0.1{\theta }_{100}+0.9(0.1{\theta }_{99}+0.9v_{98})=\dots =0.1{\theta }_{100}+0.1\ast 0.9{\theta }_{99}+0.1\ast {0.9}^2{\theta }_{98}+\dots +0.1\ast {0.9}^{99}{\theta }_1$

到这里我们就很清楚实际上vt$v_t$实际上是对每天温度的加权平均，时间越近，权重越大。 0.910≈0.35≈=1/e${0.9}^{1}0\approx 0.35\approx =1/e$,假如我们以1/e为一个分界点,衰减到这个值就可以忽略不计,那当β$\beta$取值的时候,多久才可以衰减到1/e呢?
考虑以下函数:
f(β)=β1/(1−β)$f(\beta )={\beta }^{1/(1-\beta )}$

f(0.9)=0.910≈1/e$f(0.9)={0.9}^{10}\approx 1/e$
这个时候需要10天可以衰减到1/e
f(0.98)=0.9850≈1/e$f(0.98)={0.98}^{50}\approx 1/e$
这个时候需要50天可以衰减到1/e
所以最开始说：
vt$v_t$：代表的是第11−β$\frac{1}{1-\beta }$天的温度值;

应用

• 深度学习优化算法中应用。解决梯度下降算法中收敛过慢的问题。
• CTR预估。最开始如果没有上FTRL和深度学习的时候可以用MA算法
• 异常点平滑。美团外卖的收入监控报警系统中的hot-winter就是指数移动平均算法的升级。

参考

• 网易云课堂深度学习课程
• 外卖订单量预测异常报警模型实践

知乎ID: 码蹄疾
码蹄疾，毕业于哈尔滨工业大学。
小米广告第三代广告引擎的设计者、开发者；
负责小米应用商店、日历、开屏广告业务线研发；
主导小米广告引擎多个模块重构；
关注推荐、搜索、广告领域相关知识;