深层神经网络与浅层神经网络的区别
熟悉神经网络的可能知道，Hornik在1989年，就证明了一个定理：
- 只需一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂的连续函数
那大家可能就会有疑问：既然一个隐层就够了，我们为什么还需要多层神经网络呢？
我们可以从这个定理中找到可能思考方式：
- （1）足够多神经元，你在实践中能保证么？
- （2）如果你要拟合的模型并不是连续函数，单个隐层够吗？
显然，这两个问题的回答都是否定的。
如果觉得我这个解释过于粗糙，可以看Andrew Ng在新课程”Deep Learning”中的解释。
下面这个图，我们也能看到：
- 第一层，提取低层次的简单特征（边缘特征）
- 第二层，将简单特征组合成复杂一点的特征（器官）
- 第三层，将第二层的特征组合起来
Andrew Ng还提到，神经科学家们觉得，人的打到也是先探测简单的东西，然后组合起来才能看到整体。