CNN 模型复杂度分析

本文主要介绍 CNN 模型复杂度的分析，通常来说模型复杂度一般我们关注：1）时间复杂度：模型训练和推理速度；2）占用 GPU 大小。

---

 

 

 

模型训练和推理速度

模型的训练和推理速度由“运算量”决定，即 FLOPs，“运算量”代表模型的时间复杂度。FLOPs 越大，模型训练和推理越慢，对于 CNN，每个卷积层运算量如下：

  $$\mathtt{FLOPs=[(C_i \times k^2)+(C_i \times k^2 - 1)+1] \times C_o \times W \times H}$$

其中 $\mathtt{C_i}$ 代表输入通道数，$\mathtt{C_o}$ 代表输出通道数，$\mathtt{k}$ 代表卷积核大小，$\mathtt{W}$ 和 $\mathtt{H}$ 代表 Feature Maps 的尺寸，上式中的 $\mathtt{(C_i \times k^2)}$ 部分为乘法运算，$\mathtt{(C_i \times k^2 - 1)}$ 部分为加法运算，$\mathtt{+1}$ 为 Bias 运算。而 CV 领域论文中常常将 “Multi-Add” 组合视为一次浮点运算：

$$\mathtt{FLOPs=C_i \times k^2 \times C_0 \times W \times H}$$

对于 FC 层：

$$\mathtt{FLOPs=[I + (I-1)+1] \times O=2 \times I \times O}$$

其中 $\mathtt{I}$ 代表 Input Nerons，$\mathtt{O}$ 代表 Output Nerons。

对于激活层的参数计算：

1）Sigmoid：$\mathtt{FLOPs=3n}$

2）ReLU：$\mathtt{FLOPs=n}$

其中 $\mathtt{n}$ 代表 $\mathtt{n}$ 个神经元，但通常激活层的计算量忽略不计。

---

 

 

 

模型占用 GPU 空间大小

 模型占用 GPU 的访存量大小由两部分组成：1）模型的参数量；2）各层输出 Feature Maps 的大小。

 

其中模型的参数量只和卷积核的尺寸、通道数和层数相关，与输入数据的大小无关。模型参数量大小对模型具体的影响是，由于维度诅咒的限制，模型的参数越多，训练模型所需的数据量就越大，这会导致模型的训练更容易过拟合。通常模型裁剪可以有效减少模型参数，但由于卷积核的空间尺寸通常已经很小（3x3），而网络的深度又与模型的表征能力紧密相关，不宜过多削减，因此模型裁剪通常最先对通道数进行裁剪。

 

Inception 系列就是模型优化的典型例子，当中例如：v1 中 1x1 卷积、GAP 代替 Flatten、v2 中使用两个 3x3 代替 5x5、v3 中用 Nx1 与 1xN 代替 NxN、Xception 中使用 Depth-wise Separable Convolution 等都是优化模型的方法手段，当中一些方法的基本逻辑都是“乘变加”。

---

 

 

 

模型复杂度分析工具

可以用 torchsummary 包来分析模型复杂度。

---

 

 

 

 

所以，不一定模型训练或者推理时占用 GPU 越大，模型的训练或推理速度就越慢。