改变网络结构设计为什么会实现模型压缩和加速

目录

  Group convolution
  Depthwise separable convolution
  输入输出的channel相同时，MAC最小
  减少组卷积的数量
  减少网络碎片化程度(分支数量)
  减少元素级操作
  参考

Group convolution

​　　Group convolution最早出现在AlexNet中，是为了解决单卡显存不够，将网络部署到多卡上进行训练而提出。Group convolution可以减少单个卷积1/g的参数量。如何计算的呢？

假设

• 输入特征的的维度为$HW{C}_1$;
• 卷积核的维度为$H_1{W}_1{C}_1$，共$C_2$个；
• 输出特征的维度为$H_1{W}_1{C}_2$ 。

传统卷积计算方式如下：

传统卷积运算量为：

$$A=H\ast W\ast h1\ast w1\ast c1\ast c2$$

　　Group convolution是将输入特征的维度c1分成g份，每个group对应的channel数为c1/g，特征维度H * W * c1/g；，每个group对应的卷积核的维度也相应发生改变为h1 * w1 * c1/9，共c2/g个；每个group相互独立运算，最后将结果叠加在一起。
Group convolution计算方式如下：

Group convolution运算量为：

$$B=H\ast W\ast h1\ast w1\ast c1/g\ast c2/g\ast g$$ Group卷积相对于传统卷积的运算量：

$${\displaystyle \frac{B}{A}}={\displaystyle \frac{H\ast W\ast h1\ast w1\ast c1/g\ast c2/g\ast g}{H\ast W\ast h1\ast w1\ast c1\ast c2}}={\displaystyle \frac{1}{g}}$$

由此可知：group卷积相对于传统卷积减少了1/g的参数量。

Depthwise separable convolution

Depthwise separable convolution是由depthwise conv和pointwise conv构成。

depthwise conv(DW)有效减少参数数量并提升运算速度。但是由于每个feature map只被一个卷积核卷积，因此经过DW输出的feature map不能只包含输入特征图的全部信息，而且特征之间的信息不能进行交流，导致“信息流通不畅”。

pointwise conv(PW)实现通道特征信息交流，解决DW卷积导致“信息流通不畅”的问题。 假设输入特征的的维度为H * W * c1；卷积核的维度为h1 * w1 * c1，共c2个；输出特征的维度为 H1 * W1 * c2。

传统卷积计算方式如下：

传统卷积运算量为：

$$A=H\ast W\ast h1\ast w1\ast c1\ast c2$$

DW卷积运算量为： $$B_{D}W=H\ast W\ast h1\ast w1\ast 1\ast c1$$

PW卷积的计算方式如下：

$$B_{P}W=H_m\ast W_m\ast 1\ast 1\ast c_1\ast c_2$$

Depthwise separable convolution运算量为：

$$B=B_{D}W+B_{P}W$$ Depthwise separable convolution相对于传统卷积的运算量：

$${\displaystyle \frac{B}{A}}={\displaystyle \frac{H\ast W\ast h_1\ast w_1\ast 1\ast c_1+H_m\ast W_m\ast 1\ast 1\ast c_1\ast c_2}{H\ast W\ast h1\ast w1\ast c_1\ast c_2}}={\displaystyle \frac{1}{c_2}}+{\displaystyle \frac{1}{h_1\ast w_1}}$$

由此可知，随着卷积通道数的增加，Depthwise separable convolution的运算量相对于传统卷积更少。

输入输出的channel相同时，MAC最小

　　卷积层的输入和输出特征通道数相等时MAC最小，此时模型速度最快。

　　假设feature map的大小为h*w，输入通道$c_1$，输出通道$c_2$。

已知：

$$FLOPs=B=h\ast w\ast c1\ast c2=>c1\ast c2={\displaystyle \frac{B}{h\ast w}}$$

$$MAC=h\ast w\ast (c1+c2)+c1\ast c2$$

$$=>MAC\ge 2\ast h\ast w\sqrt{{\displaystyle \frac{B}{h\ast w}}}+{\displaystyle \frac{B}{h\ast w}}$$

　　根据均值不等式得到$(c1-c2{)}^2>=0$，等式成立的条件是c1=c2，也就是输入特征通道数和输出特征通道数相等时，在给定FLOPs前提下，MAC达到取值的下界。

减少组卷积的数量

过多的group操作会增大MAC，从而使模型速度变慢

由以上公式可知，group卷积想比与传统的卷积可以降低计算量，提高模型的效率；如果在相同的FLOPs时，group卷积为了满足FLOPs会是使用更多channels，可以提高模型的精度。但是随着channel数量的增加，也会增加MAC。

FLOPs：

$$B={\displaystyle \frac{h\ast w\ast c1\ast c2}{g}}$$

MAC：

$$MAC=h\ast w\ast (c1+c2)+{\displaystyle \frac{c1\ast c2}{g}}$$

由MAC，FLOPs可知：

$$MAC=h\ast w\ast c1+{\displaystyle \frac{B\ast g}{c1}}+{\displaystyle \frac{B}{h\ast w}}$$

当FLOPs固定(B不变)时，g越大，MAC越大。

减少网络碎片化程度(分支数量)

模型中分支数量越少，模型速度越快

此结论主要是由实验结果所得。

以下为网络分支数和各分支包含的卷积数目对神经网络速度的影响。

　　实验中使用的基本网络结构，分别将它们重复10次，然后进行实验。实验结果如下：

 

　　由实验结果可知，随着网络分支数量的增加，神经网络的速度在降低。网络碎片化程度对GPU的影响效果明显，对CPU不明显，但是网络速度同样在降低。

减少元素级操作

元素级操作所带来的时间消耗也不能忽视

ReLU ，Tensor 相加，Bias相加的操作，分离卷积（depthwise convolution）都定义为元素级操作。

　　FLOPs大多数是对于卷积计算而言的，因为元素级操作的FLOPs相对要低很多。但是过的元素级操作也会带来时间成本。ShuffleNet作者对ShuffleNet v1和MobileNet v2的几种层操作的时间消耗做了分析，发现元素级操作对于网络速度的影响也很大。

参考

【Github文章】深度学习500问

深度学习500问PDF版本

• 链接：https://pan.baidu.com/s/1jbCxM_B_D5q__446ESuaRA
• 提取码：cuup

 

作者：凌逆战
欢迎任何形式的转载，但请务必注明出处。
限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。
本文章不做任何商业用途，仅作为自学所用，文章后面会有参考链接，我可能会复制原作者的话，如果介意，我会修改或者删除。