深度学习之梯度下降法 | Chapter 2 | Deep Learning

在这里插入图片描述

回顾一下，我们的目标是实现手写数字识别这个经典范例，即神经网络中的 “Hello World”

在这里插入图片描述

手写数字的图像分辨率为 28x28 像素，每个像素的灰度值在 0 和 1 之间，它们决定了网络输入层中 784 个神经元的激活值

在这里插入图片描述

接着下一层的每个神经元的激活值等于上一层所有激活值的加权和，再加上一些叫做偏置值的数字，最后把这个和输进 sigmoid 或者 ReLU 之类的压缩函数

在这里插入图片描述

我比较随意地选取了两个隐含层，每层有 16 个神经元，整个网络有 13000 多个权重偏置值可供我们调整，正是这些数值决定了网络实际会做什么工作

在这里插入图片描述

当我们说这个网络对一个给定的数字进行分类时，我们的意思是，最后一层 10 个神经元中最亮的那个就对应了这个数字

在这里插入图片描述

要记得，我们在这里使用分层结构是出于这样的理由：没准第二层可以识别短边，说不定第三层会识别圆圈和直线等图案，最后在最后一层将这些图案拼凑起来，识别出数字

Note：这里提到的 pattern “图案” 就等价于 “模式识别” 中的模式

秒客网