shufflenet v1
一、网络结构的主要改进:
shufflenet v1主要提出了pointwise group convolution 和 channel shuffle 结构,在保持模型精度的前提下,进一步减小了网络的计算量
1、pointwise group convolution
自mobilenet v1出来后,对于小网络模型,其主要结构就是1 × 1的卷积核,所以模型的计算量主要集中在 1 × 1 的卷积运算上,为了提升模型的推理
速度,需要进一步减少 1 × 1 的卷积核的个数,如果直接减少 1 × 1 的卷积层的通道数,会导致模型精度损失严重。为了解决该问题,作者提出了 pointwise group convolution
结构,实际上就是对原始的 1 × 1 的layer,使用了分组卷积,在保留输出通道数不变的情况下进一步减少了计算量。
2、channel shuffle
但是分组卷积有其自身的缺点,每次卷积运算只作用于相应组的输入通道,如果堆叠多个分组卷积,则最终输出中的特定通道特征图只来源于相应组的输入通道,
从而削弱了网络的表达能力,为了解决该问题,作者提出了 channel shuffle 操作。具体如下图
3、ShuffleNet Unit
针对上文中提出的pointwise group convolution 和 channel shuffle 结构,作者设计了新的ShuffleNet Unit,具体结构如下图
4、ShuffleNet 整体结构
其中g表示分组数,s表示通道数的缩放比例。
二、实验
1、ImageNet 2012 classification dataset
2、不同网络结构之间的对比