【深度学习】Dropout、DropPath-一、Dropout

1. 概念

Dropout 在训练阶段会让当前层每个神经元以drop_prob（$0\le \text{drop\_prob}\le 1$）的概率失活并停止工作，效果如下图。

在测试阶段不会进行Dropout。由于不同批次、不同样本的神经元失活情况不同，测试时枚举所有情况进行推理是不现实的，所以原文使用一种均值近似的方法进行逼近。详情如下图：

如图，$\mathbf{w}$为一个神经元后的权重。假设该神经元的输出均值为$\mu$，若训练阶段该神经元的存活概率为$p$，则Dropout使其输出均值变为$p\times \mu$，为使测试时该神经元输出逼近训练输出，测试阶段该神经元输出会被乘上$p$以使测试与训练输出均值相同。

简单来说，训练时Dropout按照概率drop_prob使神经元停止工作，测试时所有神经元正常工作，但其输出值要乘上1-drop_prob（$p=1-\text{drop\_prob}$）。

不过，我们希望测试代码执行效率尽可能高，即便仅增加一个概率计算也不是我们希望的。所以实际计算时，会在训练阶段给神经元乘上一个缩放因子$\frac{1}{p}$。这样，训练输出的均值仍为$\mu$，测试则不进行Dropout也不再乘上$p$而是原样输出。

2. 功能

优势：
Dropout能够提高网络的泛化能力，防止过拟合。解释如下：
(1) 训练阶段每个神经元是相互独立的，仅drop_prob相同，即使是同一批次不同样本失活的神经元也是不同的。所以原文作者将Dropout的操作视为多种模型结构下结果的集成，由于集成方法能够避免过拟合，因此Dropout也能达到同样的效果。
(2) 减少神经元之间的协同性。有些神经元可能会建立与其它节点的固定联系，通过Dropout强迫神经元和随机挑选出来的其它神经元共同工作，减弱了神经元节点间的联合适应性，增强了泛化能力。
劣势：
(1) Dropout减缓了收敛的速度。训练时需要通过伯努利分布生成是否drop每一个神经元的情况，额外的乘法和缩放运算也会增加时间。
(2) Dropout一般用于全连接层，卷积层一般使用BatchNorm来防止过拟合。Dropout与BatchNorm不易兼容，Dropout导致训练过程中每一层输出的方差发生偏移，使得BatchNorm层统计的方差不准确，影响BatchNorm的正常使用。

3. 实现

import torch.nn as nn
import torch


class dropout(nn.Module):
    def __init__(self, drop_prob):
        super(dropout, self).__init__()
        assert 0 <= drop_prob <= 1, 'drop_prob should be [0, 1]'
        self.drop_prob = drop_prob

    def forward(self, x):
        if self.training:
            keep_prob = 1 - self.drop_prob
            mask = keep_prob + torch.rand(x.shape)
            mask.floor_()
            return x.div(keep_prob) * mask
        else:
            return x


if __name__ == '__main__':
    x = torch.randn((8, 768))  # [batch_size, feat_dim]，dropout常在全连接层之后，所以我们以一维数据为例
    drop = dropout(0.1)
    my_o = drop(x)