感知器算法

【文件属性】：
文件名称：感知器算法
文件大小：384KB
文件格式：DOC
更新时间：2015-06-11 12:45:49
感知器 1． 感知器算法 感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。在本次实验中,我们主要是采用硬限幅函数进行分类。 感知器的训练算法如下： 设输入矢量 ， 加权矢量 ,则神经元 的输出可通过下式来计算 （1） 这里对于训练结束我们判断的依据是实际输出值与理想预期值之间误差的均方值最小。定义 它的均方值记作 ,令 , 则可以推出 （2） 可证存在最佳的加权矢量 ，使 达到最小。解得 （3） 式（3）给出了求最佳加权矢量的方法，但是需要做大量的统计计算，并且需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出一种递推求解的方法： 在给定初始权值后，以这种方法可以得到递推公式： （4） 用这种方法虽然可以保证求得严格的最佳解，且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算。 2．BP算法 由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS学习算法。而BP算法中所用到的是Sigmoid型函数，它既具有完成分类所需的非线性特性，又具有实现LMS算法所需的可微特性。采用S型函数的神经元的输入和输出之间的关系为： （5） 采用了S型函数就可将用于单神经元的LMS学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。 我们现在研究一个采用S型函数的前向三层神经网络来说明其原理。 对于训练样本p,它的输入是N维矢量X，X= ，网络的第一，二，三层分别包括J，K，M个神经元，它的总输出是一个M维矢量，Y= ，第i层到第i+1层之间的权重系数用 来表示。可设前向三层神经网络输出各个分量的理想值是 ,i=0,1,……M-1，而这些分量的实际值是 , i=0,1,……M-1，理想值和实际值之间的误差是 。各输出误差的平方和可以表示为： （6） 现在我们希望改变网络中的各个加权系数 ，使得 尽可能的减小。为此我们可以采取最陡下降算法的公式来调整权重系数 。公式如下： 式中的 是学习的步幅，它应随学习过程而变化。 对于通用神经层，它的各个输出 与各个输入 之间的关系可以表示为： 如果设 ，则 式中的 表示s型函数。我们不难看出上式即为给输入加一个恒等于1的部分，在神经网络中也应相应的加一个节点，而且这个节点的权系数就是这一层网络的阈值。经推倒可得权系数调整的递推公式如下： （7） 对输出层： 对隐含层： 现对于三层神经网络有 l=3时（输出层） l=2时（隐含层） l=1时（第一层） 其中： 可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量” ，然 后用 计算第二层（隐含层）的“等效误差分量” ，最后再用 计算第一层（隐含层）的“等效误差分量”