[重读经典论文] MobileViT

合集 - AI论文(35)

1.[轻量化网络]MobileNet V1学习笔记2022-09-192.[轻量化网络]MobileNet V2学习笔记2022-09-223.[重读经典论文] AlexNet——引爆CNN2023-03-234.[轻量化网络]ShuffleNet V2学习笔记2022-10-185.[轻量化网络]ShuffleNet V1学习笔记2022-10-096.[轻量化网络]Mnasnet学习笔记2022-10-077.[重读经典论文]ResNeXt2023-04-078.[重读经典论文]SENet——ILSVRC收官之作2023-04-059.[重读经典论文]ResNet2023-04-0310.[重读经典论文]VGG——传统串行卷积神经网络的极致2023-04-0211.[重读经典论文]Inception V42023-03-3012.[经典论文重读]Inception V2/V32023-03-2913.[重读经典论文]GoogLeNet——Inception模块的诞生2023-03-2714.[重读经典论文]ZFNET——神经网络可视化的开山之作2023-03-2515.[重读经典论文] FCOS2023-06-0716.[重读经典论文] EfficientNetV1/V22023-06-0617.[轻量化网络] MobileNet V32023-06-0618.[重读经典论文] RetinaNet——Focal Loss for Dense Object Detection2023-06-0519.[重读经典论文] FPN及PAN笔记2023-06-0220.[重读经典论文]YOLOv72023-05-3021.[重读经典论文]YOLOV62023-05-3022.[重读经典论文]RepVGG: Making VGG-style ConvNets Great Again2023-05-2823.[可解释性分析]LIME2023-05-1324.[可解释性分析]GradCAM2023-05-1025.[可解释性分析]CAM2023-05-0926.[重读经典论文]YOLOX2023-05-0827.[重读经典论文]YOLOv42023-05-0628.[重读经典论文]YOLOv32023-04-2829.[经典论文重读]YOLOv22023-04-2830.[重读经典论文]YOLOv12023-04-26

31.[重读经典论文] MobileViT2023-06-13

32.[重读经典论文] ConvNeXt——卷积网络又行了2023-06-1233.[重读经典论文] Swin-Transformer2023-06-1134.[重读经典论文]VIT2023-06-1035.[重读经典论文]EfficientDet2023-06-08

收起

参考博客：MobileViT模型简介

参考视频：15.1 MobileViT网络讲解

MobileViT结构上是一个混合模型，CNN+Transformer，比主流的轻量化ViT网络和轻量化CNN网络参数量少，精度高，缺点是推理速度慢，下图可以看到，推理时间是MobileNetV2的8倍。

网络结构：

其中MV2为MobileNetV2的逆残差结构：

MobileViT结构是主要的创新，Unfold过程，其实就是对局部特征进行分组形成序列，再输入Transformer模块进行self-attention操作：

如上图所示，就是把feature map分成若干n*n的patch，然后将每个patch中相同位置（图中相同颜色）的特征形成一个个序列，再进行self-attention操作。

最后再将输出的序列进行unfold，也就是将每个序列相同位置的特征恢复到相应的位置。