上文使用的是 s i g m o i d sigmoid sigmoid函数作为激活函数，还可以将其根据具体应用，更换为以下函数：
- Sigmoid函数：将输入值压缩到0到1之间，常用于二分类问题
- ReLU函数：将负值置为0，常用于深度神经网络中
- Tanh函数：将输入值压缩到-1到1之间，常用于回归问题
- Leaky ReLU函数：对负值进行微小的缩放，避免梯度消失问题
相关文章
- 神经网络常用激活函数及其应用举例
- 神经网络激活函数--tanh双曲正切函数
- 【Tensorflow学习二】神经网络优化方法学习率、激活函数、损失函数、正则化
- 深度学习原理与框架-神经网络架构 1.神经网络构架 2.激活函数(sigmoid和relu) 3.图片预处理(减去均值和除标准差) 4.dropout(防止过拟合操作)
- neural network for machine learning（by Geoffrey Hinton）lecture1--几种常见的激活函数
- ANN神经网络——Sigmoid 激活函数编程练习 (Python实现)
- 人工神经网络之激活函数 -Sigmoid函数
- 神经网络激活函数
- 笔记+R︱信用风险建模中神经网络激活函数与感知器简述
- Pytorch_第九篇_神经网络中常用的激活函数