0x09丢弃法

时间:2021-12-23 01:08:18

丢弃法是在深度学习中很重要的一个方法,能够等价与加入噪音使得模型更具有鲁棒性

但是我们加入这个“噪音”要希望加入之后的期望与原数据是相同的,即
E [ x ′ ] = x E[x']=x E[x]=x
所以我们可以变化
x i ′ = { 0 w i t h    p r o b a l i t y    p x i 1 − p o t h e r i s e x_i'=\left\{ \begin{array}{rcl} 0 & & with \; probality \; p\\ \frac{x_i}{1-p} & & otherise \end{array} \right. xi={01pxiwithprobalitypotherise
等价于每次随机的消失神经元

0x09丢弃法