Deep Learning 学习笔记——第9章

时间:2022-12-14 22:48:44

总览:

本章所讲的知识点包括》》》》

1、描述卷积操作  2、解释使用卷积的原因  3、描述pooling操作  4、卷积在实践应用中的变化形式  

5、卷积如何适应输入数据  6、CNN对DL的影响

本章未包含的知识点有》》》》

在实际应用中如何选取CNN架构

本章的目的是阐述CNN提供的处理数据的方法。在第11章将会对怎样使用这些方法做说明。

 

9.1 卷积操作

问题:

  1、与信号系统或者数学中的卷积有何区别?

  2、如何用代码实现

注意:CNN包括的计算不仅仅只有卷积计算,还包括pooling、激活函数处理等等。

那么单纯的卷积是怎样的?它与一般意义的卷积有何区别?有什么作用?

一维连续的卷积形式:

Deep Learning 学习笔记——第9章

表示方式:

Deep Learning 学习笔记——第9章

表述的意义:信号x在t时刻,对之前的信号进行w函数形式的使用,即通过对不同时刻的加权,预测当前的状态。

一维离散的卷积形式:

Deep Learning 学习笔记——第9章

以上,变量a的取值范围有不同条件下的约束,其约束条件由实际而定。

二维离散的卷积形式:

Deep Learning 学习笔记——第9章

根据卷积可交换性,变成:

Deep Learning 学习笔记——第9章

在CNN中,卷积操作的表述形式:

Deep Learning 学习笔记——第9章

这种形式被大多数的CNN库所采用,其实应该称为cross-correlation 即互相关,与一般意义上的卷积比较:

1、没有了翻转。“-"号有翻转的作用。  2、较翻转的“原始卷积”操作,互相关得到的结果也是翻转过来的。

卷积操作示意图:

Deep Learning 学习笔记——第9章

如何用代码实现简单的卷积操作,见连接:

 

9.2 卷积特点

1、sparse interactions  2、parameter sharing  3、equivariant respections

sparse interactions————》》如下是效果图,与全连接网络对比。蓝色框中是全连接神经网络,红色框是卷积网络。

 Deep Learning 学习笔记——第9章

卷积相对于全连接是稀疏的。优势:1、参数更少 2、内存需求降低 3、计算量降低。那么效果比较呢?

 Deep Learning 学习笔记——第9章

时间复杂度:全连接》》O(m*n)  卷积》》O(k*n)  m为输入层节点数,n为输出节点数,k为卷积核大小。

上图是多层结构的联系图,可知通过增加网络层数,保留全局的特征。而全连接的优势也是为了得到特征,CNN有同样提取效果的功能。

parameter sharing————》》下图第二图,红色框是卷积核,使用同样的卷积核对输入做卷积,即为权值共享。

                第一图是权值共享与全连接权值的比较。


                            Deep Learning 学习笔记——第9章       Deep Learning 学习笔记——第9章  

优势:同样是减少了参数量。一个卷积核,目的是为了得到一种特征。使用多个卷积核,可产生多个特征。

equivariant respections——————》》当输入图像通过平移后,卷积的结果也会平移。

                                  Deep Learning 学习笔记——第9章Deep Learning 学习笔记——第9章

如上所示:在lenet手写数字识别中,数字7从右向左平移,对应红色框里的layer-1也进行了平移。

同时注意:单就卷积操作而言,这种等变换在缩放、旋转上是不成立的。

对比:整个CNN操作(包括卷积层以及后面的层),主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。

 

9.3 Pooling

典型的CNN包含3个阶段:如下图的右边部分所示》》》

阶段一》》 卷积操作    阶段二》》Detector,此处经过非线性处理    阶段三》》pooling

下图左边部分是CNN中总体结构。

Deep Learning 学习笔记——第9章

Pooling》》1、max pooling  对一定范围的邻域取最大值,其效果是可以允许输入有一定的波动。

      Deep Learning 学习笔记——第9章    Deep Learning 学习笔记——第9章

上图右图: 使用3个卷积核对输入处理,能对三种输入做出不同的匹配。输入一个数字,得到激活,使用pooling能够适应输入波动。

2、均值Pooling

3、L2正则

并且在第20.10.6中有更复杂的方法。对正则会在近期总结。

 

9.4 Infinitely strong prior

讲述卷积和Pooling与先验条件的联系。

卷积的先验是:特征层学到的内容是局部的并且是可以进行一定的移动的。

pooling的先验是:pooling操作适应输入的小变化,有不变性。

weak prior 拥有高熵值,比如高斯分布,这种先验对参数进行约束。

strong prior 拥有低熵值,对参数调节的终止调节进行约束。

卷积是全连接的最大先验,因为将卷积核与全连接比较,除卷积核部分外,其他部分的参数均为0.

意义:

卷积和Pooling导致underfitting。因为他们只有当实际情况与先验假设吻合时,才有作用。

比如:假设一个实际任务当中,结果依赖与特征的具体位置,此时如果对所有的特征进行pooling操作,则会导致较高的训练错误率。而解决此问题的方法便是:在某些通道使用pooling,而其他通道不使用,从而结果有一定的invariant feature以及不会underfit。

 

9.5 卷积的基本变化形式

 

参考:

《Deep Learning》Ian Goodfellow,Yoshua Bengio,AND Aaron Courville
《Gradient-Based Learning Applied to Document Recognition》YANN LECUN, MEMBER, IEEE, LEON BOTTOU, YOSHUA BENGIO, AND PATRICK HAFFNER
http://yann.lecun.com/exdb/lenet/index.html