Mobile Net: 用于移动视觉应用的高效卷积神经网络
摘要
我们提出了一类称为MobileNets的高效模型，用于移动和嵌入式设备的视觉应用。 MobileNets基于steamlined架构，基于深度可分离卷积来构建轻量级深度神经网络。 我们介绍了两个简单的全局超参数，可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型根据问题的约束为其应用选择合适大小的模型。我们提供了关于延迟和准确性权衡的多项实验，并且与ImageNet分类上的其他已有模型相比显示出强大的性能。然后，我们展示了MobileNets在各种应用和用例中的有效性，包括目标检测，finegrain classification, face attributes and large scale geo-localization。
一、论文思想
基于深度级可分离卷积块的堆叠设计MobileNets网络结构。通过权衡延迟时间和精度要求，基于宽度因子和分辨率因子构建合适规模、合适速度的MobileNet结构。
二、深度级可分离卷积结构(Xception、Extream Inception)
思想：将通道间的相关性和空间相关性完全分离出来，同时大大减少计算量和参数量。
与传统的卷积网络结构不同，其步骤如下：
对特征图的各个通道进行卷积操作(3*3*1)
通道合并卷积操作后的各页特征图
1*1卷积降低通道数
作用：
相比传统的卷积网络结构，可较少计算量和参数量
2.1 计算量
两种损失之间的比例关系：
当N较大时，Dk=3，可大约减少9倍的计算量
2.2 参数量
标准卷积参数量 = Dk*Dk*M*N
深度级分离卷积参数量 = Dk*Dk*M+M*N
计算两种损失的比例关系，同样可计算出来，当N较大时，Dk=3，可大约减少9倍的参数量。
三、MobileNet神经网络结构(28层)
MobileNet模型在TensorFlow中使用RMSprop优化算法进行训练。 然而，与训练大型模型不同的是，我们使用较少的正则化和数据增强技术，因为小型模型不太容易过拟合。我们发现在depthwise滤波器上放置很少或没有重量衰减（l2正则化）很重要，因为它们的参数很少。
3.1 宽度因子
为了构造这些结构更小且计算量更小的模型，我们引入了一个参数α，称为宽度因子。宽度因子α的作用是在每层均匀地稀疏网络，为每层通道乘以一定的比例，从而减少各层的通道数。常用值有1、0.75、0.5、0.25。
3.2 分辨率因子
为了减少计算量，引入了第二个参数ρ，称为分辨率因子。其作用是在每层特征图的大小乘以一定的比例。
