• Batch Norm、Layer Norm、Weight Norm与SELU

    时间：2021-12-31 04:10:42

    加速网络收敛——BN、LN、WN与selu自BatchNorm出现之后，LayerNorm和WeightNorm作为BatchNorm的变体相继出现。最近又出来一个很”简单”的激活函数Selu，能够实现automaticrescaleandshift。这些结构都是为了保证网络能够堆叠的更深的基本条件...