12 2021 档案

BoTNet:Bottleneck Transformers for Visual Recognition
摘要：【GiantPandaCV导语】基于Transformer的骨干网络，同时使用卷积与自注意力机制来保持全局性和局部性。模型在ResNet最后三个BottleNeck中使用了MHSA替换3x3卷积。属于早期的结合CNN+Transformer的工作。简单来讲Non-Local+Self Attenti 阅读全文
posted @ 2021-12-27 14:45 pprp 阅读(620) 评论(0) 推荐(0) 编辑
CNN、Transformer、MLP的经验性分析
摘要：A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP 【GiantPandaCV导语】ViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构各有特点，为了公平地比较几种架构，本文提 阅读全文
posted @ 2021-12-24 10:23 pprp 阅读(1873) 评论(0) 推荐(0) 编辑
知识蒸馏综述：代码整理
摘要：【GiantPandaCV导语】收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。 1. KD: Knowledge Distillation 全称：Distilling the Knowledge in a Neural Network 链接：https: 阅读全文
posted @ 2021-12-13 12:27 pprp 阅读(2057) 评论(0) 推荐(2) 编辑
知识蒸馏综述:网络结构搜索应用
摘要：【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。 1. 引言 知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以 阅读全文
posted @ 2021-12-12 19:34 pprp 阅读(533) 评论(0) 推荐(0) 编辑
知识蒸馏综述：蒸馏机制
摘要：【GiantPandaCV导语】Knowledge Distillation A Suvery的第二部分，上一篇介绍了知识蒸馏中知识的种类，这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏。 感性上理解三种蒸馏方式： 离线蒸馏可以理解为知识渊博的老 阅读全文
posted @ 2021-12-04 14:15 pprp 阅读(1428) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
❄