【文件属性】：
文件名称：模型的训练过程-2017自然语言处理精选论文
文件大小：388KB
文件格式：PDF
更新时间：2021-07-02 03:30:17
首发论文
3.3 网络结构的选择及参数设定
Kolmogrov 理论已经证明，一个三层具有 Sigmoid 神经元的 BP 神经网络只要有足够多
的隐含节点数就可以逼近任一连续函数。故采用三层 BP 神经网络来建立评价模型[5]。
中小企业信用评价模型中采用表 1 的指标体系，故输入层节点数为 15；而输出的结果
就是对该中小企业的一个评分，所以输出层节点数为 1；隐含层所需要的神经元数目目前没
有有效的方法确定，故本文用“试凑法”确定为 5；所以该网络的拓扑结构为 15×5×1。各层的
权值和阀值取[0，1]之间的随机数作为初值。
3.4 模型的训练过程
采用 S 型函数计算隐含层、输出层的输入、输出值。
隐含层输入为： ∑
=
−=
n
i
jiijj xwS
1
θ 输出为：
Sjj e
O
−+
=
1
1
； ijw 为输入层神经元 i
与隐层神经元 j 的连接权,组成隐含层的权矩阵 W, jθ 为隐含神经元的阈值, jS 为第 i 个隐含
结点的输入, iO 为隐层神经的输出
[3]
。
输出层输入为： ∑
=
−=
m
j
kjjkk OuS
1
θ ；输出为：
Skk e
Y
−+
=
1
1
； jku 为隐层神经元 j 与
输出层神经元 k的连接权,组成输出层的权矩阵U, kθ 为输出结点的阈值, kS 为第 k个输出结
点的输入, kY 为输出层神经元的输出。
用 BP 网络 r 个样本的实际输出与输出样本之间的误差作为相应的测度误差 rE ,整个样
本集的误差为 E。
( )∑ ∑
=
=−=
l
k
rkkr Er
EYTE
1
2 1;
2
1
从输出层节点到输入层节点以反向顺序,计算隐含层和输出层修正权值 ijW 和 jkW 。
( ) ( ) ( ) ( )( ) 10,11 <<−−++=+ ηαηδ PwPwOPwPw ijijjjijij
( ) ( ) ( ) ( )( ) 10,11 <<−−++=+ ααηδ PwPwOPwPw jkjkkkjkjk
其中 ( ) ( )( )∑
=
−−=−=
m
k
kkkkkkjkjjj YTYYwOO
0
1;1 δδδ
kT 表示信用评价的输出期望值。 )(Pwjk 表示 P 时从输出层神经元 k 到隐含层神经元 j
的连接权。通过动量因子 α 用较大的学习速率来控制学习速度和收敛效果,利用动量项的惯
性效应来抑制网络训练中可能出现的振荡,起到缓冲平滑的作用。用所有训练样本反复训练
网络,进行多次迭代,直到权值达到既定的目标。当 E 小于给定的拟合误差 ε时,学习结束,否则
返回继续学习。
以上任务可由 MATLAB6.0 版本中神经网络工具箱中的相关函数完成。MATLAB 仿真
软件自1984年由美国的Mathwork公司推出以来,巳越来越引人注目，其后推出的WINDOWS
系统的版本,可以充分利用 WINDOWS 系统资源[2]。MATLAB 现已成为国际上公认的 优秀
的数值计算和仿真分析软件。MATLAB 本身带有的神经网络工具箱,可以大大方便权值训练,
减少训练程序工作量,有效的提高工作效率。