01 2022 档案

2021 BDCI 华为零售商品识别竞赛一等奖方案分享
摘要：【GiantPandaCV导语】上学期快结束的时候参加了华为和CCF组织的零售商品识别的比赛，队伍名称为GiantPandaCV队，比赛大约持续了两个月，期间从开始摸索MindSpore框架，配置环境，上手ModelArts花费了不少功夫。现在比赛终于告一段落，本文进行一下复盘。 背景 CCF大数据 阅读全文
posted @ 2022-01-26 09:26 pprp 阅读(550) 评论(0) 推荐(0) 编辑
当可变形注意力机制引入Vision Transformer
摘要：【GiantPandaCV导语】通过在Transformer基础上引入Deformable CNN中的可变性能力，在降低模型参数量的同时提升获取大感受野的能力，文内附代码解读。 引言 Transformer由于其更大的感受野能够让其拥有更强的模型表征能力，性能上超越了很多CNN的模型。 然而单纯增大 阅读全文
posted @ 2022-01-22 21:41 pprp 阅读(829) 评论(0) 推荐(0) 编辑
CoAtNet: 90.88% Paperwithcode榜单第一，层层深入考虑模型设计
摘要：【GiantPandaCV导语】CoAt=Convolution + Attention，paperwithcode榜单第一名，通过结合卷积与Transformer实现性能上的突破，方法部分设计非常规整，层层深入考虑模型的架构设计。 引言 Transformer模型的容量大，由于缺乏正确的归纳偏置， 阅读全文
posted @ 2022-01-08 18:27 pprp 阅读(806) 评论(0) 推荐(0) 编辑
CeiT：训练更快的多层特征抽取ViT
摘要：【GiantPandaCV导语】来自商汤和南洋理工的工作，也是使用卷积来增强模型提出low-level特征的能力，增强模型获取局部性的能力，核心贡献是LCA模块，可以用于捕获多层特征表示。 引言 针对先前Transformer架构需要大量额外数据或者额外的监督(Deit)，才能获得与卷积神经网络结构 阅读全文
posted @ 2022-01-08 16:21 pprp 阅读(637) 评论(0) 推荐(0) 编辑
CvT: 如何将卷积的优势融入Transformer
摘要：【GiantPandaCV导语】与之前BoTNet不同，CvT虽然题目中有卷积的字样，但是实际总体来说依然是以Transformer Block为主的，在Token的处理方面引入了卷积，从而为模型带来的局部性。最终CvT最高拿下了87.7%的Top1准确率。 引言 CvT架构的Motivation也 阅读全文
posted @ 2022-01-01 16:11 pprp 阅读(804) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
❄