1. 卷积层的优点：
2. 经典网络架构介绍
LeNet-5
- 池化层为均值，而目前主流为max
- 激活函数为sigmod或者tanh，而目前主流为relu
AlexNet
- Local Response Normalization(LRN)：
认为网络不需要那么多高激活神经元，因此将某些位置进行归一化处理（即对某点所有通道上的值进行归一化）。
VGG-19
- VGG网络的特征是简单，只使用3x3的卷积层和2x2的池化层。
ResNet
- 通过添加跳跃连接，改变了模块的输出。当w与b均接近0时，该模块作用消失；否则，认为学习到了一些有用的特征。通过这种特性，可以避免网络加深性能变差的现像！
- 若a[l+1]与a[l]维度不一致，则在需a[l]前乘上一个转换矩阵W，保证与a[l+1]维度一致！
GoogleNet
- 使用Inception模块，可以让网络自己决定使用卷积层的大小（通过核参数值决定）。
- GoogleNet在网络中间添加输出层预测结果，可以防止过拟合和缓解梯度消失学习困难的问题！
3. 提高识别率的Tips
- 10-crop：即取待检测图像及其镜像图像中心子区域及四角子区域，共计10张子图进行检测，将平均检测结果作为最终识别结果！
4. Face Recognition
人脸验证
实质上是利用CNN提取人脸特征，然后进行特征匹配：
人脸验证的损失函数：
其中，A是特定人的人脸图，P也是该人的人脸图，视为正样本，N不是该人的人脸图，视为负样本！
5. Neural Style Transfer
寻找各层九个最大的激活图像区域：
损失函数定义：
内容图像损失函数：
风格图像损失函数：
构建gram矩阵，计算各激活层间的相关性：
