在进行 【深度学习的数学】接“2×3×1层带sigmoid**函数的神经网络感知机对三角形平面的分类训练预测”,输出层加偏置b 的测试中,我们发现,模型的初始权重对模型的训练结果是影响非常大的,
如图对比了两种不同的模型训练结果,权重和偏置初始参数均采用正态分布随机值
-
情况1
-
情况2
-
情况3
可以看到,情况1最接近我们预期的结果,情况2和情况3就比较奇怪,所以,选择一个好的初始权重和偏置是非常重要的!
接下来我们选择情况1中我们比较好的权重和偏置作为我们本次训练的初始权重和偏置,运行程序,还是训练600次,可以看到,结果并没有发生太大的变化!
当我们把训练次数改成10000次,情况有些不一样了
尽管绘制的图形看起来与之前相比,仍未有较大改变!!