MobileNet V3与Lite R-ASPP 总结

论文名称：《Searching for MobileNetV3》

感谢github上大佬们开源，开源代码整理如下：

（1）PyTorch实现1：https://github.com/xiaolai-sqlai/mobilenetv3

（2）PyTorch实现2：https://github.com/kuan-wang/pytorch-mobilenet-v3

（3）PyTorch实现3：https://github.com/leaderj1001/MobileNetV3-Pytorch

（4）Caffe实现：https://github.com/jixing0415/caffe-mobilenet-v3

（5）TensorFLow实现：https://github.com/Bisonai/mobilenetv3-tensorflow

zhangts20 2021-01-18 10:40:56

分类专栏：论文阅读文章标签：计算机视觉深度学习

版权

简介

在这里插入图片描述

图1：论文原文

该论文基于神经架构搜索技术提出下一代轻量级网络结构， ${\rm MobileNetV3}MobileNetV3$ ，实验结果表明该模型在目标检测和语义分割任务上均达到了实时性的 ${\rm SOTA}SOTA$ 。论文原文

0. Abstract

${\rm MobileNetV3}MobileNetV3$ 基于神经架构搜索技术得到。论文首先探索了搜索算法与网络设计如何协同工作，进而根据资源因素设计出两种 ${\rm MobileNetV3}MobileNetV3$ 。最后，在目标检测和语义分割任务上， ${\rm MobileNetV3}MobileNetV3$ 均达到了实时性的 ${\rm SOTA}SOTA$ 。

论文贡献：（一）基于神经架构搜索技术得到轻量级网络 ${\rm MobileNetV3}MobileNetV3$ ；（二）探讨了非线性函数的使用场景；（三）在语义分割任务中提出新的轻量级解码器；（四）在多项实时性视觉任务上达到 ${\rm SOTA}SOTA$ 。

1. Introduction

论文主要介绍了设计 ${\rm MobileNetV3}MobileNetV3$ 的过程，包括但不限于高效的搜索技术、非线性变换、网络设计和解码器。最后，论文给出详尽的实验证明了上述方法的有效性。

2. Related Work

这部分主要介绍前人有关轻量级网络的工作。

${\rm SqueezeNet}SqueezeNet$ 大量使用基于 $1\times11×1$ 卷积的压缩和扩展模块，以此来减少参数量； ${\rm MobileNetV1}MobileNetV1$ 基于深度可分离卷积显著改善了模型； ${\rm MobileNetV2}MobileNetV2$ 引入反向残差结构在多项实时性视觉任务上达到 ${\rm SOTA}SOTA$ ； ${\rm ShuffleNet}ShuffleNet$ 基于分组卷积和通道混洗进一步减少计算量； ${\rm CondenseNet}CondenseNet$ 在训练阶段学习分组卷积来保持各层之间高效的密集连接以供特征重用； ${\rm ShiftNet}ShiftNet$ 提出基于移位操作的点卷积来代替空间卷积。

为了自动化地设计模型，基于强化学习来搜索网络结构得到大家的广泛关注。通常，一个完备的搜索空间会带来资源量的指数级增加。因此，早期的架构搜索技术集中在单元结构的搜索上，然后多次复用该单元。近来， ${\rm MnasNet}MnasNet$ 提出基于模块级的搜索空间来设计不同分辨率的层。为降低搜索的计算成本，当前大多算法使用基于梯度的优化方法。

量化是通过降低计算精度来提高模型性能的另一项重要技术；知识蒸馏提供了另一种设计小型网络的思路，即在一个大的教师网络的指导下生成小的精确的学生网络。

3. Efficient Mobile Building Blocks

${\rm MobileNetV1}MobileNetV1$ 使用深度可分离卷积代替传统卷积，其主要分为深度卷积和点卷积两部分，显著降低了卷积计算参数。

${\rm MobileNetV2}MobileNetV2$ 引入带线性瓶颈块的反向残差结构，提出仅在高维空间使用非线性变换以此来减少信息损失。
在这里插入图片描述

图2：MobileNetV2基本模块

${\rm MnasNet}MnasNet$ 基于 ${\rm MobileNetV2}MobileNetV2$ 而设计，其提出在瓶颈结构中引入基于压缩和激励的轻量级注意力模块。

而 ${\rm MobileNetV3}MobileNetV3$ 使用了上述层的组合，并提出 ${\rm Swish}Swish$ 非线性激活函数。同时，为了得到高效的网络结构，在压缩、激励和 ${\rm Swish}Swish$ 模块中，均使用 ${\rm Hard\ Sigmoid}Hard Sigmoid$ 激活函数。
在这里插入图片描述

图3：MobileNetV3基本模块

4. Network Search

4.1 Platform-Aware NAS for Block-wise Search

${\rm MobileNetV3}MobileNetV3$ 主要基于资源受限 ${\rm NAS}NAS$ （ ${\rm MnasNet}MnasNet$ ）和 ${\rm NetAdapt}NetAdapt$ 得到，通过在前者的基础上加上后者等其它优化方法。

但作者发现，用于搜索大型模型的奖励机制（基于强化学习的 ${\rm NAS}NAS$ 中的概念）不适用于小型模型。具体地，基于平衡模型的精度、延时和目标延时，使用多目标奖励 $ACC(m)\times[LAT(m)/TAR]^wACC(m)×[LAT(m)/TAR]w$ 来得到近似帕累托最优解。而对于小型模型来说，模型精度的变化较大，因此作者提出使用一个权重因子来补偿不同延时下的精度变化。基于该优化因子，作者采用随机搜索的方法得到一个初始模型，然后使用 ${\rm NetAdapt}NetAdapt$ 等优化方法得到一个小型的 ${\rm MobileNetV3}MobileNetV3$ 。

4.2 NetAdapt for Layer-wise Search

${\rm NetAdapt}NetAdapt$ 是一项与资源受限 ${\rm NAS}NAS$ 互补的一项技术，它允许微调单个层，其过程如下：

1、基于资源受限 ${\rm NAS}NAS$ 随机得到一个初始网络结构；

2、对于每一步，执行如下操作：

生成一组候选结构，且每种结构相比于上一步的结构延迟减少 $\deltaδ$
对于每个候选结构，使用前一步预训练模型填充新的候选结构，并截断和随机初始化缺失的权重。对每个候选结构微调次，并得到大致的精度
根据某准则选出最好的模型

3、不断重复之前的步骤，直到达到既定目标

选择最终模型的准则包括最小化精度变化等，论文提出将最小化延时变化与精度变化之比作为最终准则，即最大化 $\frac{\Delta{\rm Acc}}{|\Delta{\rm latency}|}∣Δlatency∣ΔAcc$ 。

得到最终的模型后，使用 ${\rm MobileNetV2}MobileNetV2$ 的方法重新随机训练模型，具体的改动为减少扩展层的大小和减少瓶颈模块，同时保留残差连接。

在迭代过程中， ${\rm T=10000}T=10000$ ， $\delta=0.01|L|δ=0.01∣L∣$ 。

5. Network Improvements

5.1 Redesigning Expensive Layers

作者发现，基于神经架构搜索得到的模型，一些前面层和最后层的计算代价较高。作者提出针对这些层的改进，在减小计算代价的同时不降低模型的精度。

第一个改动是针对后面几层，当前，基于 ${\rm MobileNetV2}MobileNetV2$ 的模型在最后层使用 $1\times11×1$ 卷积来增加维度从而使用非线性变换，但升维的操作会引入大量计算量。为了减少延时和保留高维特征，作者提出将该层移动至最后的平均池化层。这时，原来的 $7\times77×7$ 卷积使用 $1\times11×1$ 卷积代替，平衡了计算代价和模型精度。
在这里插入图片描述

图4：第一个改动

另一个改动是针对前面层，当前移动端模型使用个 $3\times33×3$ 的卷积作为初始卷积以提取目标轮廓特征，作者提出减少卷积核的数量，使用不同的非线性变换来减少计算代价。将卷积核数量减少至，同时保持前者的精度。

5.2 Nonlinearities

${\rm Swish}Swish$ 非线性激活函数定义如下： ${\rm swish}\ x=x\cdot\sigma(x)\tag{1}swish x=x⋅σ(x)(1)$

尽管该激活函数提高了模型精度，但使用 ${\rm Sigmoid}Sigmoid$ 函数使其计算代价较高。论文提出了两点解决方法，将 ${\rm Sigmoid}Sigmoid$ 函数替换掉： ${\rm h-swish}[x]=x\frac{{\rm ReLU}6(x+3)}{6}\tag{2}h−swish[x]=x6ReLU6(x+3)(2)$

尽管 ${\rm hard}hard$ - ${\rm swish}swish$ 无法显著提高模型精度，但从部署的角度来看它更适合：首先， ${\rm ReLU6}ReLU6$ 的实现对硬件友好；其次，在量化过程中，相比于 ${\rm Sigmoid}Sigmoid$ 函数它不会带来较大精度的损失；最后， ${\rm ReLU6}ReLU6$ 可以通过一个分段函数实现，从而降低内存的访问次数。

其次，随着网络的加深，由于特征图的尺寸变小，所以非线性实现代价逐渐变小。作者发现， ${\rm swish}swish$ 函数在网络的后面部分的效果更好，因此，作者进将其引入模型的后半部分。

5.3 Large squeeze-and-excite

在 ${\rm MobileNetV3}MobileNetV3$ 中，作者加压缩激励模块设为扩展层通道数的。这样，既增加了模型精度，也在参数适量增加的前提下没有明显提高延时。

5.4 MobileNetV3 Definitions

作者设计了两个版本的 ${\rm MobileNetV3}MobileNetV3$ ，其结构分别如下：
在这里插入图片描述

图5：MobileNetV3-Large

在这里插入图片描述

图6：MobileNetV3-Small

图中， ${\rm HS}HS$ 表示 ${\rm h-wish}h−wish$ ， ${\rm RE}RE$ 表示 ${\rm ReLU}ReLU$ ， ${\rm NBN}NBN$ 表示不使用 ${\rm BN}BN$ 。

6. Experiments

在这里插入图片描述

图7：Classification

在这里插入图片描述

图8：Ablation Study on Impact of non-linearities

在这里插入图片描述

图9：Detection Based on SSDLite

在这里插入图片描述

图10：Semantic Segmentation

7. Conclusions and future work

论文提出基于神经架构搜索的 ${\rm MobileNetV3}MobileNetV3$ ，得到两种不同大小的模型以满足不同的实时性需求。关于神经架构搜索的内容，可参考此文章。

参考

Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 1314-1324.

posted @ 2021-01-18 11:20 水木清扬阅读(739) 评论(0) 编辑收藏举报

刷新页面返回顶部

水木清扬

MobileNet V3与Lite R-ASPP 总结

简介

0. Abstract

1. Introduction

2. Related Work

3. Efficient Mobile Building Blocks

4. Network Search

4.1 Platform-Aware NAS for Block-wise Search

4.2 NetAdapt for Layer-wise Search

5. Network Improvements

5.1 Redesigning Expensive Layers

5.2 Nonlinearities

5.3 Large squeeze-and-excite

5.4 MobileNetV3 Definitions

6. Experiments

7. Conclusions and future work

参考

公告