随笔分类 -  计算机视觉

1 2 3 4 下一页
2021 BDCI 华为零售商品识别竞赛一等奖方案分享
摘要：【GiantPandaCV导语】上学期快结束的时候参加了华为和CCF组织的零售商品识别的比赛，队伍名称为GiantPandaCV队，比赛大约持续了两个月，期间从开始摸索MindSpore框架，配置环境，上手ModelArts花费了不少功夫。现在比赛终于告一段落，本文进行一下复盘。 背景 CCF大数据 阅读全文
posted @ 2022-01-26 09:26 pprp 阅读(550) 评论(0) 推荐(0) 编辑
当可变形注意力机制引入Vision Transformer
摘要：【GiantPandaCV导语】通过在Transformer基础上引入Deformable CNN中的可变性能力，在降低模型参数量的同时提升获取大感受野的能力，文内附代码解读。 引言 Transformer由于其更大的感受野能够让其拥有更强的模型表征能力，性能上超越了很多CNN的模型。 然而单纯增大 阅读全文
posted @ 2022-01-22 21:41 pprp 阅读(829) 评论(0) 推荐(0) 编辑
CoAtNet: 90.88% Paperwithcode榜单第一，层层深入考虑模型设计
摘要：【GiantPandaCV导语】CoAt=Convolution + Attention，paperwithcode榜单第一名，通过结合卷积与Transformer实现性能上的突破，方法部分设计非常规整，层层深入考虑模型的架构设计。 引言 Transformer模型的容量大，由于缺乏正确的归纳偏置， 阅读全文
posted @ 2022-01-08 18:27 pprp 阅读(806) 评论(0) 推荐(0) 编辑
CeiT：训练更快的多层特征抽取ViT
摘要：【GiantPandaCV导语】来自商汤和南洋理工的工作，也是使用卷积来增强模型提出low-level特征的能力，增强模型获取局部性的能力，核心贡献是LCA模块，可以用于捕获多层特征表示。 引言 针对先前Transformer架构需要大量额外数据或者额外的监督(Deit)，才能获得与卷积神经网络结构 阅读全文
posted @ 2022-01-08 16:21 pprp 阅读(638) 评论(0) 推荐(0) 编辑
CvT: 如何将卷积的优势融入Transformer
摘要：【GiantPandaCV导语】与之前BoTNet不同，CvT虽然题目中有卷积的字样，但是实际总体来说依然是以Transformer Block为主的，在Token的处理方面引入了卷积，从而为模型带来的局部性。最终CvT最高拿下了87.7%的Top1准确率。 引言 CvT架构的Motivation也 阅读全文
posted @ 2022-01-01 16:11 pprp 阅读(804) 评论(0) 推荐(0) 编辑
BoTNet:Bottleneck Transformers for Visual Recognition
摘要：【GiantPandaCV导语】基于Transformer的骨干网络，同时使用卷积与自注意力机制来保持全局性和局部性。模型在ResNet最后三个BottleNeck中使用了MHSA替换3x3卷积。属于早期的结合CNN+Transformer的工作。简单来讲Non-Local+Self Attenti 阅读全文
posted @ 2021-12-27 14:45 pprp 阅读(620) 评论(0) 推荐(0) 编辑
CNN、Transformer、MLP的经验性分析
摘要：A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP 【GiantPandaCV导语】ViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构各有特点，为了公平地比较几种架构，本文提 阅读全文
posted @ 2021-12-24 10:23 pprp 阅读(1873) 评论(0) 推荐(0) 编辑
知识蒸馏综述：代码整理
摘要：【GiantPandaCV导语】收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。 1. KD: Knowledge Distillation 全称：Distilling the Knowledge in a Neural Network 链接：https: 阅读全文
posted @ 2021-12-13 12:27 pprp 阅读(2057) 评论(0) 推荐(2) 编辑
【知识蒸馏】Knowledge Review
摘要：【GiantPandaCV引言】 知识回顾（KR）发现学生网络深层可以通过利用教师网络浅层特征进行学习，基于此提出了回顾机制，包括ABF和HCL两个模块，可以在很多分类任务上得到一致性的提升。 摘要 知识蒸馏通过将知识从教师网络传递到学生网络，但是之前的方法主要关注提出特征变换和实施相同层的特征。 阅读全文
posted @ 2021-11-21 16:53 pprp 阅读(403) 评论(0) 推荐(0) 编辑
【神经网络结构搜索】DNA: Block-wisely Supervised NAS with KD
摘要：【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。 1. 背景介绍 知识蒸馏通常作为One-Shot NAS中的一个训练技巧，但是他起到非常大的作用。 简便起见，知识蒸 阅读全文
posted @ 2021-09-27 15:31 pprp 阅读(268) 评论(0) 推荐(0) 编辑
DeiT：使用Attention蒸馏Transformer
摘要：题目：Training data-efficient image transformers & distillation through attention 【GiantPandaCV导语】Deit是一个全Transformer的架构，没有使用任何的卷及操作。其核心是将蒸馏方法引入VIT的训练，引入 阅读全文
posted @ 2021-09-24 10:19 pprp 阅读(1682) 评论(0) 推荐(0) 编辑
如何更好地调整学习率？
摘要：【GiantPandaCV导读】learning rate对模型调优重要性不言而喻，想到超参数调优第一个可能想到的方法就是网格搜索Grid Search，但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率，本文就主要分析 阅读全文
posted @ 2021-07-06 09:33 pprp 阅读(1464) 评论(0) 推荐(1) 编辑
【神经网络架构搜索】ProxylessNAS直接在ImageNet上搜索
摘要：【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。 0. Info Title: ProxylessN 阅读全文
posted @ 2021-07-01 11:15 pprp 阅读(418) 评论(0) 推荐(0) 编辑
ICLR 2021 NAS 相关论文(包含Workshop)
摘要：ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yucen Luo and Jun Zhu PDF AutoHAS: 阅读全文
posted @ 2021-06-22 09:40 pprp 阅读(522) 评论(0) 推荐(0) 编辑
CVPR2021 NAS相关论文链接
摘要：Neural Architecture Search with Random Labels Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search AttentiveNAS: I 阅读全文
posted @ 2021-06-22 09:15 pprp 阅读(258) 评论(0) 推荐(0) 编辑
【神经网络搜索】Single Path One Shot
摘要：【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。 代码：https://githu 阅读全文
posted @ 2021-05-04 11:05 pprp 阅读(1070) 评论(0) 推荐(0) 编辑
【神经网络搜索】DARTS: Differentiable Architecture Search
摘要：【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。 1. 简介 此论文之前的NAS大部分都是使用强化学习或者进化算法等在离散的搜索空间中找到最优的网络结构。而DARTS的出现，开 阅读全文
posted @ 2021-03-02 09:25 pprp 阅读(3885) 评论(0) 推荐(1) 编辑
Microsoft NNI入门
摘要：【GiantPandaCV导语】Neural Network Intelligence 是一个工具包，可以有效帮助用户设计并调优汲取学习模型的神经网络架构，以及超参数。具有易于使用、可扩展、灵活、高效的特点。本文主要讲NNI基础的概念以及一个训练MNIST的入门教程。本文首发于GiantPandaC 阅读全文
posted @ 2021-03-01 18:13 pprp 阅读(1242) 评论(0) 推荐(0) 编辑
【神经网络搜索】Efficient Neural Architecture Search
摘要：【GiantPandaCV导语】本文介绍的是Efficient Neural Architecture Search方法，主要是为了解决之前NAS中无法完成权重重用的问题，首次提出了参数共享Parameter Sharing的方法来训练网络，要比原先标准的NAS方法降低了1000倍的计算代价。从一个 阅读全文
posted @ 2021-03-01 18:10 pprp 阅读(420) 评论(0) 推荐(0) 编辑
Ubuntu16.04 Cuda11.1 Cudnn8.1 Tensorflow2.4 PyTorch1.7环境配置
摘要：未经允许，不得转载。 1、环境 显卡：Gtx 1080Ti 系统：Ubuntu16.04 并行：cuda11.1和对应的cudnn8.1 软件：Tensorflow2.4 和 PyTorch1.7 驱动：460.39 cuda链接：https://pan.baidu.com/s/1_01EZN_Uj 阅读全文
posted @ 2021-02-16 09:25 pprp 阅读(722) 评论(0) 推荐(0) 编辑

1 2 3 4 下一页
点击右上角即可分享
微信分享提示
❄
❄
❄