xuandyu000

摘要： from https://blog.csdn.net/qq_37541097/article/details/126715733 MobileViT是Apple公司（对，就是那个被啃了一口的苹果）在2021年发表的一篇CNN与Transfomrer的混合架构模型。近两年CNN和Transformer 阅读全文

摘要： from https://blog.csdn.net/qq_37541097/article/details/118242600 ViT模型由三个模块构成： Linear Projection of Flattened Patches(Embedding层) Transformer Encoder 阅读全文

摘要： 0 前言 ViT成功将Transformer引入到CV中。Swin Transformer更进一步直接屠榜成为新一代backbone。ConvNeXt则使用纯卷积结构对标Swin Transformer，在在相同的FLOPs下，ConvNeXt相比Swin Transformer拥有更快的推理速度以 阅读全文

摘要： MobileNetV1 MobileNetV1提出将原始卷积操作分为两步即深度可分离卷积：特征提取（逐通道卷积）和特征融合（1x1逐点卷积）。大大降低计算量： 假设标准卷积核大小\(D_k, D_k\)，输入通道\(M\)，输出通道\(N\)，每个卷积核进行\(D_W \times D_H\)次计算 阅读全文

摘要： SE模块介绍 SE(Squeeze-and-Excitation)模块是一种通道注意力模块，SE模块能对输入特征图进行通道特征加强，且不改变输入特征图的大小。 SE模块的原理是对每个通道上权重进行显示建模，然后再对原feture map加权，使其每个通道具有不同的重要程度，也即有了通道注意力机制。 阅读全文

摘要： einops 通过灵活而强大的张量操作符为你提供易读并可靠的代码。 支持 numpy、pytorch、tensorflow 等等。 大牛评价 Andrej Karpathy, AI at Tesla ：用 PyTorch 和 einops 来写出更好的代码 <br/>Nasim Rah 阅读全文

摘要： ViT将Transformer从NLP迁移到CV但是只做了基础的检测任务，在论文中提出对其他视觉任务的展望，Swin Transformer来告诉你在基础的视觉任务上只需要用Transformer就行了。这也让Swin Transformer成为了做这些CV基础任务的绕不开的baseline。 不过 阅读全文

摘要： from https://blog.csdn.net/weixin_45943887/article/details/127881179 Swin Transformer 时间复杂度的分析 Swin Transformer 的论文中涉及到了两个关于时间复杂度的计算公式，在此梳理一下推导过程。 1. 阅读全文

摘要： Why Normalization 当error surface比较崎岖时，模型比较难以训练。比如: error surface是一个碗状的，两个参数\(w_1,w_2\)的斜率变化差别很大，\(w_1\)斜率比较小，\(w_2\)比较大。 此时使用固定的learning rate并不合适。需要使用 阅读全文

摘要： Why hidden Layer? 神经网络所需要的工作笼统的说就是拟合一条曲线，简单的情况如下。 通过采样几个点然后连起来可以得到一个初步拟合的结果，当采样的点足够多，所连的点足够细，那么拟合相像的程度就越高。 上图可以通过一系列的初步的阶梯函数和常数项的组合来合成： 常数项将所有函数向上偏移到需 阅读全文