CMT:卷积与Transformers的高效结合

论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。

CMT:体系结构

CMT块由一个局部感知单元(LPU)、一个轻量级多头自注意模块(LMHSA)和一个反向残差前馈网络(IRFFN)组成。

 

https://avoid.overfit.cn/post/2da9f18b7b6d4da89b44eb16c861ab88

posted @   deephub  阅读(69)  评论(0)  编辑  收藏  举报
相关博文：
· 论文导读：CoAtNet是如何完美结合 CNN 和 Transformer的
· 论文推荐：CCNet用于语义分割的交叉注意力
· 【CVPR2022】CMT: Convolutional Neural Networks Meet Vision Transformers
· Transformer meets UNet
· 【论文阅读】CvT：Introducing Convolutions to Vision Transformers
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-09-07 GANs的优化函数与完整损失函数计算
点击右上角即可分享
微信分享提示