本文通过图文+公式的方法,介绍了一维和二维神经网络,以及网络内部数据的计算等相关内容。
本节摘要插图所示为一维全连接神经网络的结构,但是,这种情况下的训练参数量巨大,训练效率低,无法满足性能要求。
例如:(如下图所示)
输入图像大小:
输入层神经元个数:
隐藏神经元的个数:15
权重参数(神经元之间的连线):
如何解决参数量大的问题?
1. 非全连接(也就是删掉一些”线段”)
2. 权重共享(也就是一些线段的权重相同)
输入层神经元
如果将二维图像转换成一维图像,将会丢掉一些结构信息,因此,在CNN的输入层,直接输入二维矩阵,因此实际输入层的结构如下图所示:
RGB图像的输入层如下图所示:
卷积操作
卷积操是卷积神经网络中最重要,也是最核心的部分。
先介绍下几个重要的概念:
local receptive fields(感知视野)
将去掉全连接中的一部分连接后,剩下的连接就形成了感知视野,也就是后面层能从前面层中获取信息的区域,如下图所示:
weight(权重)
后层神经元和前层神经元相连的每条线对应一个权重值,将感知区域的所有线段的权值根据位置排列成矩阵,就是我们所说的权重矩阵W。
stride(步长)感受视野对输入矩阵的扫描间隔表示步长,为了能扫描到边界的一些特征,感受视野会出界,因此通过用0对边界进行padding,同时,也可以控制卷积后的层的大小。
具体卷积操作如下图所示:
同时和每个卷积核对应,还有一个偏置项b。
简单用公式描述卷积操作,如下公式所示:
$$
$$
对于每个卷积核,都会产生一个feature map,如下图所示:
层与层之间会有多个卷积核,因此,往往产生多个feature map,如下图所示:
多通道卷积操作
最后,从整体来看看卷积层是如何工作的,对于三通道的图像,每个卷积核的size均为[],如下图所示:
公式描述如下:
注意:每个feature map中的每个元素即为该层的一个神经元,权重是神经元和神经元之间的连线。