深层神经网络与浅层神经网络的区别 - ybdesire

时间:2024-03-18 07:54:58

深层神经网络与浅层神经网络的区别

熟悉神经网络的可能知道,Hornik在1989年,就证明了一个定理:

  • 只需一个包含足够多神经元的隐层,多层前馈神经网络就能以任意精度逼近任意复杂的连续函数

那大家可能就会有疑问:既然一个隐层就够了,我们为什么还需要多层神经网络呢?

我们可以从这个定理中找到可能思考方式:

  • (1)足够多神经元,你在实践中能保证么?
  • (2)如果你要拟合的模型并不是连续函数,单个隐层够吗?

显然,这两个问题的回答都是否定的。

如果觉得我这个解释过于粗糙,可以看Andrew Ng在新课程”Deep Learning”中的解释。

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

下面这个图,我们也能看到:

  • 第一层,提取低层次的简单特征(边缘特征)
  • 第二层,将简单特征组合成复杂一点的特征(器官)
  • 第三层,将第二层的特征组合起来

这里写图片描述

Andrew Ng还提到,神经科学家们觉得,人的打到也是先探测简单的东西,然后组合起来才能看到整体。