机器学习（一）：激活函数（Activation Function）

0. 激活函数

$编号$	$函数$	$公式$
$1)$	$s i g m o i d (x)$	$φ (x) = 1 1 - e - x$
$2)$	$s o f t m a x (x)$	$φ (x) = e z j \sum K k = 1 e z k$
$3)$	$t a n h (x)$	$φ (x) = t a n h (x)$
$4)$	$S c a l e d t a n h ([s c a l e I N, s c a l e O U T])$	$φ (x) = t a n h (α * x) * β$
$5)$	$R e L U$	$φ (x) = m a x (0, x)$
$6)$	$L e a k y R e L U$	$f (x) = {x i f x > 0 0.1 x o t h e r w i s e$
$7)$	$V a r y L e a k y R e L U$	$a = 1 3$
$8)$	$P a r a m e t r i c R e L U$	$f (x) = {x i f x > 0 a x o t h e r w i s e$
$9)$	$R a n d o m i z e d R e L U$	$f (x) = m a x (0, x + Y), w i t h Y \sim N (0, σ (x))$
$10)$	$M a x o u t$	$i f a < 0, f (x) = m a x (x, a x)$
$11)$	$e l u (x)$	$φ (x) = (x > 0) ? x : e x - 1$
$12)$	$s o f t p l u s (x)$	$φ (x) = l o g (1 + e x)$
$13)$	$l i n e a r (x)$	$φ (x) = x$