[重读经典论文]VIT

合集 - AI论文(35)

1.[轻量化网络]MobileNet V1学习笔记2022-09-192.[轻量化网络]MobileNet V2学习笔记2022-09-223.[重读经典论文] AlexNet——引爆CNN2023-03-234.[轻量化网络]ShuffleNet V2学习笔记2022-10-185.[轻量化网络]ShuffleNet V1学习笔记2022-10-096.[轻量化网络]Mnasnet学习笔记2022-10-077.[重读经典论文]ResNeXt2023-04-078.[重读经典论文]SENet——ILSVRC收官之作2023-04-059.[重读经典论文]ResNet2023-04-0310.[重读经典论文]VGG——传统串行卷积神经网络的极致2023-04-0211.[重读经典论文]Inception V42023-03-3012.[经典论文重读]Inception V2/V32023-03-2913.[重读经典论文]GoogLeNet——Inception模块的诞生2023-03-2714.[重读经典论文]ZFNET——神经网络可视化的开山之作2023-03-2515.[重读经典论文] FCOS2023-06-0716.[重读经典论文] EfficientNetV1/V22023-06-0617.[轻量化网络] MobileNet V32023-06-0618.[重读经典论文] RetinaNet——Focal Loss for Dense Object Detection2023-06-0519.[重读经典论文] FPN及PAN笔记2023-06-0220.[重读经典论文]YOLOv72023-05-3021.[重读经典论文]YOLOV62023-05-3022.[重读经典论文]RepVGG: Making VGG-style ConvNets Great Again2023-05-2823.[可解释性分析]LIME2023-05-1324.[可解释性分析]GradCAM2023-05-1025.[可解释性分析]CAM2023-05-0926.[重读经典论文]YOLOX2023-05-0827.[重读经典论文]YOLOv42023-05-0628.[重读经典论文]YOLOv32023-04-2829.[经典论文重读]YOLOv22023-04-2830.[重读经典论文]YOLOv12023-04-2631.[重读经典论文] MobileViT2023-06-1332.[重读经典论文] ConvNeXt——卷积网络又行了2023-06-1233.[重读经典论文] Swin-Transformer2023-06-11

34.[重读经典论文]VIT2023-06-10

35.[重读经典论文]EfficientDet2023-06-08

收起

参考博客：Vision Transformer详解

参考视频：11.1 Vision Transformer(vit)网络详解

基本流程：

• 提取embedding：将原图分为若干patch，使用convnet提取每个patch的特征作为embedding，然后在前面concat一个用来分类的embedding，之后每个patch加上一个位置编码。
• tranformer encode：将上一步的embedding直接喂入堆叠的transformer模块，进行encode操作。
• 提取分类特征：将分类的特征切片，并在后面增加一个mlp网络进行分类。

纯Vit和Hybrid的区别就是前面提取embedding是用一个简单的conv模块（或者MLP）还是使用ResNet50（论文中是改造后）的复杂模型。