神经网络（Neural Networks）是受到人类大脑对于外界事物认知方式的启发建立的机器学习算法，也叫人工神经网络（ArtificialNeural Networks）。
我们先来认识构成神经网络的基本单元：神经元。
神经元有三个基础的构成
（1）一组连接（类比于生物神经元的树突），更准确的讲是一组输入。而每一个输入都会有一个权重进行作用。第k个神经元的第j个树突接收到的一个输入xj，那么这个输入将被权重wkj作用，其中下标表示第k个神经元的第j个树突的权重。
（2）一个调整项bk，所有的输入完成求和操作后再加上一个常数调整项
（3）激活函数φ，这个函数用来将求和之后的结果映射到一个合适的范围。
上图所示的神经元K可以用如下的两个数学公式表示：
以及
令
上述公式可以有一个转换写成如下形式
其中
激活函数的类型：
（1）阈值函数
这样的神经元称作McCulloch–Pitts模型 （2）S型函数，最典型也是最常用的激活函数模型为logistic函数，这种模型很好的平衡了线性与非线性函数
这个函数模型中a称作斜率参数当a趋于无穷大时，logistic函数是逼近阈值函数的。如果激活函数输出的阈值范围不是0到1，而是-1到1则激活函数可定义为
或者
（3）神经元的随机模型
P(v)的标准选择为一个S型函数
T在这里是一个控制噪声或者不确定因素的参数，当T趋于0的时候，这个概率模型基本为无噪声的。