论文阅读笔记---ShuffleNet V1
01 ShuffleNet V1要解决什么问题
为算力有限的嵌入式场景下专门设计一个高效的神经网络架构。
02 亮点
使用了两个新的操作：pointwise group convolution和channel shuffle。
根据这两个操作构建了ShuffleUnit，整个ShuffleNet都是由ShuffleUnit组成。
所谓的的pointwise group convolution就是分组卷积与1x1卷积的结合！！！
2.1 Channel Shuffle
shuffle的步骤如下:
- 假设一个卷积层上有g组，每组有n个通道，最后输出就有g×n个通道。
- reshape成(g,n) 。
- 转置成(n,g)。
- 展开（flatten），再分成g组，作为下一层的输入。
2.2 Shuffle Unit
图(a)是残差卷积模块，标准3×3卷积转换为深度可分离卷积与1×1卷积的组合。中间加上BN和ReLU，构成基本单元。
图(b)是Shuffle Unit，将图(a)中的第一个1×1卷积替换成1×1组卷积（GConv）和channel shuffle组成的单元。
图(c)是用于降采样的Shuffle Unit，深度可分离卷积的步长改为2，为了适配主分支的feature map，在shortcut上加上了步长也为2的平均池化（AVG Pool 3×3 ）。
2.3 网络架构
03 效果如何？
- 在ImageNet分类和MS COCO目标检测任务上取得了比其他轻量化模型更高的准确率，如MobileNet v1。
- 在ARM设备上，ShuffleNet的速度比AlexNet快了13倍。
04 还存在什么问题？
- 超参数如组卷积的组数以及通道压缩比率等需要根据实际情况决定，不同任务下需要自行调整。
- 网络实时性并不能单纯以浮点计算量来衡量，还存在memory access cost(MAC)等因素的干扰，并不能仅仅根据计算量就认为ShuffleNet是最快的。
- 通道的Shuffle是人工设计的，不是模型自己学习的，不符合网络通过负反馈自动学习特征的基本原则，又陷入人工设计特征的老路！
