【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)

时间:2024-05-20 09:34:46

在进行 【深度学习的数学】接“2×3×1层带sigmoid**函数的神经网络感知机对三角形平面的分类训练预测”,输出层加偏置b 的测试中,我们发现,模型的初始权重对模型的训练结果是影响非常大的,

如图对比了两种不同的模型训练结果,权重和偏置初始参数均采用正态分布随机值

  • 情况1
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)

  • 情况2
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)

  • 情况3
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
    【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)

可以看到,情况1最接近我们预期的结果,情况2和情况3就比较奇怪,所以,选择一个好的初始权重和偏置是非常重要的!

接下来我们选择情况1中我们比较好的权重和偏置作为我们本次训练的初始权重和偏置,运行程序,还是训练600次,可以看到,结果并没有发生太大的变化!
【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)

当我们把训练次数改成10000次,情况有些不一样了

【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
【深度学习的数学】初始权重和偏置参数对模型训练非常重要!(预训练模型、预训练文件、初始权重)
尽管绘制的图形看起来与之前相比,仍未有较大改变!!