深度学习(二)-神经网络直观理解

时间:2024-05-22 20:45:02

本文通过图文+公式的方法,介绍了一维和二维神经网络,以及网络内部数据的计算等相关内容。
深度学习(二)-神经网络直观理解

本节摘要插图所示为一维全连接神经网络的结构,但是,这种情况下的训练参数量巨大,训练效率低,无法满足性能要求。
例如:(如下图所示)
输入图像大小:28×28
输入层神经元个数:28×28=784)
隐藏神经元的个数:15
权重参数(神经元之间的连线):748×15=11760
深度学习(二)-神经网络直观理解
如何解决参数量大的问题?
1. 非全连接(也就是删掉一些”线段”)
2. 权重共享(也就是一些线段的权重相同)

输入层神经元

如果将二维图像转换成一维图像,将会丢掉一些结构信息,因此,在CNN的输入层,直接输入二维矩阵,因此实际输入层的结构如下图所示:
深度学习(二)-神经网络直观理解
RGB图像的输入层如下图所示:
深度学习(二)-神经网络直观理解

卷积操作

卷积操是卷积神经网络中最重要,也是最核心的部分。
先介绍下几个重要的概念:

local receptive fields(感知视野)

将去掉全连接中的一部分连接后,剩下的连接就形成了感知视野,也就是后面层能从前面层中获取信息的区域,如下图所示:
深度学习(二)-神经网络直观理解

weight(权重)

后层神经元和前层神经元相连的每条线对应一个权重值,将感知区域的所有线段的权值根据位置排列成矩阵,就是我们所说的权重矩阵W。
深度学习(二)-神经网络直观理解

stride(步长)感受视野对输入矩阵的扫描间隔表示步长,为了能扫描到边界的一些特征,感受视野会出界,因此通过用0对边界进行padding,同时,也可以控制卷积后的层的大小。

具体卷积操作如下图所示:
深度学习(二)-神经网络直观理解
同时和每个卷积核对应,还有一个偏置项b。
简单用公式描述卷积操作,如下公式所示:
$$

$$

对于每个卷积核,都会产生一个feature map,如下图所示:
深度学习(二)-神经网络直观理解
层与层之间会有多个卷积核,因此,往往产生多个feature map,如下图所示:
深度学习(二)-神经网络直观理解

多通道卷积操作

最后,从整体来看看卷积层是如何工作的,对于三通道的图像,每个卷积核的size均为[3×rows×cols],如下图所示:
深度学习(二)-神经网络直观理解
公式描述如下:


注意:每个feature map中的每个元素即为该层的一个神经元,权重是神经元和神经元之间的连线。