丢弃法是在深度学习中很重要的一个方法,能够等价与加入噪音使得模型更具有鲁棒性
但是我们加入这个“噪音”要希望加入之后的期望与原数据是相同的,即
E
[
x
′
]
=
x
E[x']=x
E[x′]=x
所以我们可以变化
x
i
′
=
{
0
w
i
t
h
p
r
o
b
a
l
i
t
y
p
x
i
1
−
p
o
t
h
e
r
i
s
e
x_i'=\left\{ \begin{array}{rcl} 0 & & with \; probality \; p\\ \frac{x_i}{1-p} & & otherise \end{array} \right.
xi′={01−pxiwithprobalitypotherise
等价于每次随机的消失神经元