一，什么的**函数
**函数是神经网络中对数据做非线性变换的函数。如下所示：
输入的x值，经过权值相乘合并之后再经过‘**函数’得到一个映射值。
二，**函数的作用
因为线性的数据表达过于单一，若没有**函数，再多层的网络也不过是多套了几层的线性函数而已。以分类为例，线性函数只能处理线性可分的问题，对于复杂点的就无能为力了。而使用**函数对线性数据改变之后，数据就是非线性的了。理论上网络层数足够的话可以拟合出任意函数，可以解决任何问题。
三，常用的**函数
1，sigmoid函数
这是神经网络最出名的**函数了，数学表达，和图像如下所示：
缺点：
1：在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。
2：Sigmoid 的 output 不是0均值（即zero-centered）。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。
2，Relu函数
公式如下：
函数图像和函数梯度的图像如下：
计算速度快，收敛速度快
3，tanh函数
数学表达如下：
函数图像和函数梯度的图像如下：
4,ELU (Exponential Linear Units) 函数
数学表达形式：
函数图像与梯度图像
ps：
1）深度学习往往需要大量时间来处理大量数据，模型的收敛速度是尤为重要的。所以，总体上来讲，训练深度学习网络尽量使用zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。所以要尽量选择输出具有zero-centered特点的**函数以加快模型的收敛速度。
2）如果使用 ReLU，那么一定要小心设置 learning rate，而且要注意不要让网络出现很多 “dead” 神经元，如果这个问题不好解决，那么可以试试 Elu
3）少用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout.
还是看这个吧，写的够好的了
https://blog.csdn.net/tyhj_sf/article/details/79932893