一、AlexNet 模型
1、提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
2、数据增强，随机地从256×256的原始图像中截取224×224大小的区域（以及水平翻转的镜像）。使用了数据增强大大减轻过拟合，提升泛化能力。（进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10次结果求均值。同时，AlexNet论文中提到了会对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动，增加一些噪声，这个Trick可以让错误率再下降1%。）
二、VGG 模型
（1）LRN层作用不大。
（2）越深的网络效果越好。
（3）1×1的卷积也是很有效的，但是没有3×3的卷积好，大一些的卷积核可以学习更大的空间特征。
三、ResNet模型
VGGNets证明了加深网络层次是提高精度的有效手段，但是由于梯度弥散的问题导致网络深度无法持续加深。梯度弥散问题是由于在反向传播过程中误差不断累积，导致在最初的几层梯度值几乎为0，从而无法收敛。
但ResNet模型通过“残差网络”的方法实现使其变成残差结构，使其收敛效果都急剧提高，精度也随着训练次数地增加持续提高，并且不断加深网络深度还可以持续提高准确率。
1、始需要学习的知识变少，容易学习
2、使每一层的数据分布更接近，容易学习
四、InceptionNet模型
待续