激活函数种类

时间:2021-01-04 19:01:14

1.sigmod函数

\[ \sigma(x)=\frac{1}{1+e^{-x}} \]

激活函数种类

sigmod函数的输出值再(0,1)这个开区间中,经常被用来映射为概率值。
sigmod函数作为激活函数曾经比较流行。
缺陷

  • 当输入稍微远离了坐标原点,函数的梯度就变得很小了,几乎为零。当反向传播经过了sigmod函数,这个链条上的微分就很小很小了,况且还可能经过很多个sigmod函数,最后会导致权重w对损失函数几乎没影响,这样不利于权重的优化,这个问题叫做梯度饱和,也可以叫梯度弥散。
  • 函数输出不是以0为中心的,这样会使权重更新效率降低
  • sigmod函数要进行指数运算,这个对于计算机来说是比较慢的。
tf.sigmoid(x, name=None)

2.tanh函数

\[ 双曲正弦函数=\tanh(x)=\frac{sinh(x)}{cosh(x)}=\frac{e^x-e^{-x}}{e^x+e^{-x}} \]

激活函数种类

sigmod函数的输出值在(-1,1)这个开区间中,而且整个函数是以0为中心的,这个特点比sigmod的好。
缺陷

  • 当输入稍微远离了坐标原点,函数的梯度就变得很小了,几乎为零。当反向传播经过了sigmod函数,这个链条上的微分就很小很小了,况且还可能经过很多个sigmod函数,最后会导致权重w对损失函数几乎没影响,这样不利于权重的优化,这个问题叫做梯度饱和,也可以叫梯度弥散。
  • sigmod函数要进行指数运算,这个对于计算机来说是比较慢的。
一般二分类问题中,隐藏层用tanh函数,输出层用sigmod函数
tf.tanh(x, name=None)

3.ReLU函数

\[ \sigma(x)=,max(0,x) \]

激活函数种类

ReLU(Rectified Linear Unit)函数是目前比较火的一个激活函数
1.输入为正数的时候,不存在梯度饱和问题。
2.不存在指数运算,计算速度要快很多
缺陷

  • 当输入是负数的时候,ReLU是完全不被激活的,这就表明一旦输入到了负数,ReLU就会死掉
  • ReLU函数也不是以0为中心的函数
tf.nn.relu(
    features,
    name=None
)

4.ELU函数

\[ f(x)=\begin{cases} x &x>0 \\ \alpha(e^x-1) &x<=0 \end{cases} \]

激活函数种类

相比于ReLU函数,在输入为负数的情况下,是有一定的输出的,而且这部分输出还具有一定的抗干扰能力。这样可以消除ReLU死掉的问题,不过还是有梯度饱和和指数运算的问题。

tf.nn.elu(features, name=None)

5.PReLU函数

\[ f(x)=max(ax,x) \]

激活函数种类

PReLU也是针对ReLU的一个改进型,在负数区域内,PReLU有一个很小的斜率,这样也可以避免ReLU死掉的问题。相比于ELU,PReLU在负数区域内是线性运算,斜率虽然小,但是不会趋于0,这算是一定的优势吧。
我们看PReLU的公式,里面的参数α一般是取0~1之间的数,而且一般还是比较小的,如零点零几。当α=0.01时,我们叫PReLU为Leaky ReLU,算是PReLU的一种特殊情况吧。