[重读经典论文] Swin-Transformer

合集 - AI论文(35)

1.[轻量化网络]MobileNet V1学习笔记2022-09-192.[轻量化网络]MobileNet V2学习笔记2022-09-223.[重读经典论文] AlexNet——引爆CNN2023-03-234.[轻量化网络]ShuffleNet V2学习笔记2022-10-185.[轻量化网络]ShuffleNet V1学习笔记2022-10-096.[轻量化网络]Mnasnet学习笔记2022-10-077.[重读经典论文]ResNeXt2023-04-078.[重读经典论文]SENet——ILSVRC收官之作2023-04-059.[重读经典论文]ResNet2023-04-0310.[重读经典论文]VGG——传统串行卷积神经网络的极致2023-04-0211.[重读经典论文]Inception V42023-03-3012.[经典论文重读]Inception V2/V32023-03-2913.[重读经典论文]GoogLeNet——Inception模块的诞生2023-03-2714.[重读经典论文]ZFNET——神经网络可视化的开山之作2023-03-2515.[重读经典论文] FCOS2023-06-0716.[重读经典论文] EfficientNetV1/V22023-06-0617.[轻量化网络] MobileNet V32023-06-0618.[重读经典论文] RetinaNet——Focal Loss for Dense Object Detection2023-06-0519.[重读经典论文] FPN及PAN笔记2023-06-0220.[重读经典论文]YOLOv72023-05-3021.[重读经典论文]YOLOV62023-05-3022.[重读经典论文]RepVGG: Making VGG-style ConvNets Great Again2023-05-2823.[可解释性分析]LIME2023-05-1324.[可解释性分析]GradCAM2023-05-1025.[可解释性分析]CAM2023-05-0926.[重读经典论文]YOLOX2023-05-0827.[重读经典论文]YOLOv42023-05-0628.[重读经典论文]YOLOv32023-04-2829.[经典论文重读]YOLOv22023-04-2830.[重读经典论文]YOLOv12023-04-2631.[重读经典论文] MobileViT2023-06-1332.[重读经典论文] ConvNeXt——卷积网络又行了2023-06-12

33.[重读经典论文] Swin-Transformer2023-06-11

34.[重读经典论文]VIT2023-06-1035.[重读经典论文]EfficientDet2023-06-08

收起

参考博客：Swin-Transformer网络结构详解

参考视频：

12.1 Swin-Transformer网络结构详解

Swin Transformer论文精读【论文精读】

• 使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于在此基础上构建目标检测，实例分割等任务。
• 使用了Windows Multi-Head Self-Attention(W-MSA)的概念，将特征图划分成了多个不相交的区域（Window），并且Multi-Head Self-Attention只在每个窗口（Window）内进行，目的是减少计算量，但也会隔绝不同窗口之间的信息传递，所以又提出了 Shifted Windows Multi-Head Self-Attention(SW-MSA)，通过此方法能够让信息在相邻的窗口中进行传递。
  
  
• SW-MSA通过掩码的方式计算attention，非常巧妙。