【深度学习】吴恩达网易公开课练习(class2 week1)

时间:2021-11-30 15:03:20

权重初始化

参考资料:

  1. 知乎
  2. CSDN
  1. 权重初始化不能全部为0,不能都是同一个值。原因是,如果所有的初始权重是相同的,那么根据前向和反向传播公式,之后每一个权重的迭代过程也是完全相同的。结果就是,无论迭代多少次,这些权重都是一样的。
  2. 不可以初始化为较大的随机值。原因是在输出层的激活函数是sigmoid,当采用较大的值初始化权重后,sigmoid输入会是一个较大的值,结果就是对应的梯度很小,结果难以收敛。并且,由于sigmoid输入大,输出就会是一个接近0或1的值。在计算损失时,log(0) = 无穷大,导致损失函数结果接近inf
  3. 正确的初始化方法应该是,将权重初始化为随机值*\(\sqrt{\frac{2}{\text{dimension of the previous layer}}}\)("He Initialization"; this is named for the first author of He et al., 2015)