轻量化模型之SqueezeNet

　　自 2012 年 AlexNet 以来，卷积神经网络在图像分类、目标检测、语义分割等领域获得广泛应用。随着性能要求越来越高，AlexNet 已经无法满足大家的需求，于是乎各路大牛纷纷提出性能更优越的 CNN 网络，如 VGG、GoogLeNet、ResNet、DenseNet 等。由于神经网络的性质，为了获得更好的性能，网络层数不断增加，从 7 层 AlexNet 到 16 层 VGG，再从 16 层 VGG 到 GoogLeNet 的 22 层，再到 152 层 ResNet，更有上千层的 ResNet 和 DenseNet。虽然网络性能得到了提高，但随之而来的就是效率问题。

       效率问题主要是模型的存储问题和模型进行预测的速度问题。

       1、存储问题。数百层网络有着大量的权值参数，保存大量权值参数对设备的内存要求很高；

       2、速度问题。在实际应用中，往往是毫秒级别，为了达到实际应用标准，要么提高处理器性能（很难），要么就减少计算量。

       只有解决 CNN 效率问题，才能让 CNN 走出实验室，更广泛的应用于移动端。

       对于效率问题，通常的方法是进行模型压缩（Model Compression），即在已经训练好的模型上进行压缩，使得网络携带更少的网络参数，从而解决内存问题，同时可以解决速度问题。

       相比于在已经训练好的模型上进行处理，轻量化模型模型设计则是另辟蹊径。轻量化模型设计主要思想在于设计更高效的「网络计算方式」（主要针对主干网卷积），从而使网络参数减少的同时，不损失网络性能。

        2017年，SqueezeNet发表于ICLR，《SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and 0.5MB》，原文链接：https://arxiv.org/abs/1602.07360

        主要创新点：

               采用不同于传统的卷积方式，提出 fire module；fire module 包含两部分：squeeze 层+expand 层。首先 squeeze 层（压缩层），就是 1*1 卷积，其卷积核数要少于上一层 feature map 数。然后，Expand 层分别用 1*1 和 3*3 卷积，然后 concat。SqueezeNet 的核心在于 Fire module，Fire module 由两层构成，分别是 squeeze 层+expand 层，如下图 1 所示，squeeze 层是一个 1*1 卷积核的卷积层，expand 层是 1*1 和 3*3 卷积核的卷积层，expand 层中，把 1*1 和 3*3 得到的 feature map 进行 concat。

卷积图如下：

具体情况如下图所示：

Fire module 输入的 feature map 为 H*W*M 的，输出的 feature map 为 H*W*(e1+e3)，可以看到 feature map 的分辨率是不变的，变的仅是维数，也就是通道数

H*W*M 的 feature map 经过 Squeeze 层，得到 S1 个 feature map，这里的 S1 均是小于 M 的，以达到「压缩」的目的，详细思想参考了 Google 的 Inception 系列。

其次，H*W*S1 的特征图输入到 Expand 层，分别经过 1*1 卷积层和 3*3 卷积层进行卷积，再将结果进行 concat，得到 Fire module 的输出，为 H*M*(e1+e3) 的 feature map。

fire 模块有三个可调参数：S1，e1，e3，分别代表卷积核的个数，同时也表示对应输出 feature map 的维数，在文中提出的 SqueezeNet 结构中，e1=e3=4s1。

SqueezeNet 的网络结构，如下图：

 

 也可以加入ResNet中的Shortcut连接来提升性能，如下图（中，右）

SqueezeNet的各层参数详细表：

Squezeenet 的参数数量以及性能：

论文题目中提到的小于 0.5M，是采用了 Deep Compression 进行模型压缩之后的结果！！

 

SqueezeNet 小结：

1 Fire module 与 GoogLeNet 思想类似，采用 1*1 卷积对 feature map 的维数进行「压缩」，从而达到减少权值参数的目的；

2 采用与 VGG 类似的思想（堆叠）的使用卷积，这里堆叠的使用 Fire module。