CNN 模型复杂度分析
本文主要介绍 CNN 模型复杂度的分析,通常来说模型复杂度一般我们关注:1)时间复杂度:模型训练和推理速度;2)占用 GPU 大小。
模型训练和推理速度
模型的训练和推理速度由“运算量”决定,即 FLOPs,“运算量”代表模型的时间复杂度。FLOPs 越大,模型训练和推理越慢,对于 CNN,每个卷积层运算量如下:
$$\mathtt{FLOPs=[(C_i \times k^2)+(C_i \times k^2 - 1)+1] \times C_o \times W \times H}$$
其中 $\mathtt{C_i}$ 代表输入通道数,$\mathtt{C_o}$ 代表输出通道数,$\mathtt{k}$ 代表卷积核大小,$\mathtt{W}$ 和 $\mathtt{H}$ 代表 Feature Maps 的尺寸,上式中的 $\mathtt{(C_i \times k^2)}$ 部分为乘法运算,$\mathtt{(C_i \times k^2 - 1)}$ 部分为加法运算,$\mathtt{+1}$ 为 Bias 运算。而 CV 领域论文中常常将 “Multi-Add” 组合视为一次浮点运算:
$$\mathtt{FLOPs=C_i \times k^2 \times C_0 \times W \times H}$$
对于 FC 层:
$$\mathtt{FLOPs=[I + (I-1)+1] \times O=2 \times I \times O}$$
其中 $\mathtt{I}$ 代表 Input Nerons,$\mathtt{O}$ 代表 Output Nerons。
对于激活层的参数计算:
1)Sigmoid:$\mathtt{FLOPs=3n}$
2)ReLU:$\mathtt{FLOPs=n}$
其中 $\mathtt{n}$ 代表 $\mathtt{n}$ 个神经元,但通常激活层的计算量忽略不计。
模型占用 GPU 空间大小
模型占用 GPU 的访存量大小由两部分组成:1)模型的参数量;2)各层输出 Feature Maps 的大小。
其中模型的参数量只和卷积核的尺寸、通道数和层数相关,与输入数据的大小无关。模型参数量大小对模型具体的影响是,由于维度诅咒的限制,模型的参数越多,训练模型所需的数据量就越大,这会导致模型的训练更容易过拟合。通常模型裁剪可以有效减少模型参数,但由于卷积核的空间尺寸通常已经很小(3x3),而网络的深度又与模型的表征能力紧密相关,不宜过多削减,因此模型裁剪通常最先对通道数进行裁剪。
Inception 系列就是模型优化的典型例子,当中例如:v1 中 1x1 卷积、GAP 代替 Flatten、v2 中使用两个 3x3 代替 5x5、v3 中用 Nx1 与 1xN 代替 NxN、Xception 中使用 Depth-wise Separable Convolution 等都是优化模型的方法手段,当中一些方法的基本逻辑都是“乘变加”。
模型复杂度分析工具
可以用 torchsummary 包来分析模型复杂度。
所以,不一定模型训练或者推理时占用 GPU 越大,模型的训练或推理速度就越慢。