随笔分类 -  知识点

1 2 3 4 5 下一页
当可变形注意力机制引入Vision Transformer
摘要：【GiantPandaCV导语】通过在Transformer基础上引入Deformable CNN中的可变性能力，在降低模型参数量的同时提升获取大感受野的能力，文内附代码解读。 引言 Transformer由于其更大的感受野能够让其拥有更强的模型表征能力，性能上超越了很多CNN的模型。 然而单纯增大 阅读全文
posted @ 2022-01-22 21:41 pprp 阅读(829) 评论(0) 推荐(0) 编辑
CvT: 如何将卷积的优势融入Transformer
摘要：【GiantPandaCV导语】与之前BoTNet不同，CvT虽然题目中有卷积的字样，但是实际总体来说依然是以Transformer Block为主的，在Token的处理方面引入了卷积，从而为模型带来的局部性。最终CvT最高拿下了87.7%的Top1准确率。 引言 CvT架构的Motivation也 阅读全文
posted @ 2022-01-01 16:11 pprp 阅读(804) 评论(0) 推荐(0) 编辑
知识蒸馏综述：代码整理
摘要：【GiantPandaCV导语】收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。 1. KD: Knowledge Distillation 全称：Distilling the Knowledge in a Neural Network 链接：https: 阅读全文
posted @ 2021-12-13 12:27 pprp 阅读(2057) 评论(0) 推荐(2) 编辑
libpng warning iCCP 错误处理方法
摘要：png图片缺乏某些库，导致损坏，或者多余了一些数据会导致以下报错： libpng warning: iCCP: known incorrect sRGB profile libpng warning iccp extra compressed data 一些可能的解决方案： 已有方案 来自：http 阅读全文
posted @ 2021-10-30 19:20 pprp 阅读(4336) 评论(0) 推荐(0) 编辑
如何更好地调整学习率？
摘要：【GiantPandaCV导读】learning rate对模型调优重要性不言而喻，想到超参数调优第一个可能想到的方法就是网格搜索Grid Search，但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率，本文就主要分析 阅读全文
posted @ 2021-07-06 09:33 pprp 阅读(1464) 评论(0) 推荐(1) 编辑
【神经网络架构搜索】ProxylessNAS直接在ImageNet上搜索
摘要：【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章，是第一个直接在ImageNet上进行搜索的NAS算法，并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等，搜索代价降低了200倍。 0. Info Title: ProxylessN 阅读全文
posted @ 2021-07-01 11:15 pprp 阅读(418) 评论(0) 推荐(0) 编辑
ICLR 2021 NAS 相关论文(包含Workshop)
摘要：ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yucen Luo and Jun Zhu PDF AutoHAS: 阅读全文
posted @ 2021-06-22 09:40 pprp 阅读(522) 评论(0) 推荐(0) 编辑
【Pytorch基础】Torchvision中transform的脚本化
摘要：Transforms从torch1.7开始新增了该特性，之前transform进行数据增强的方式是如下的，i.e. 使用compose的方式： default_configure = T.Compose([ T.RandomCrop(32, 4), T.RandomHorizontalFlip(), 阅读全文
posted @ 2021-06-17 20:45 pprp 阅读(468) 评论(0) 推荐(0) 编辑
【Pytorch基础】BatchNorm常识梳理与使用
摘要：BatchNorm, 批规范化，主要用于解决协方差偏移问题，主要分三部分： 计算batch均值和方差 规范化 仿射affine 算法内容如下： 需要说明几点： 均值和方差是batch的统计特性，pytorch中用running_mean和running_var表示 $\gamma 和\bet 阅读全文
posted @ 2021-05-29 11:03 pprp 阅读(1313) 评论(0) 推荐(0) 编辑
如何阅读和学习深度学习项目代码
摘要：【前言】现在深度学习项目代码量越来越大，并且单个文件的量也非常的大。笔者总结了一些专家的经验并结合自己看的一些项目，打算总结一下如何探索和深入一个深度学习项目库。笔者pprp，未经允许不得擅自转发。 1. 基础知识 首先，需要保证有一定的深度学习基础知识，吴恩达的深度学习课还有斯坦福大学的CS231 阅读全文
posted @ 2021-05-27 21:48 pprp 阅读(1890) 评论(0) 推荐(0) 编辑
【神经网络搜索】Single Path One Shot
摘要：【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。 代码：https://githu 阅读全文
posted @ 2021-05-04 11:05 pprp 阅读(1070) 评论(0) 推荐(0) 编辑
Microsoft NNI入门
摘要：【GiantPandaCV导语】Neural Network Intelligence 是一个工具包，可以有效帮助用户设计并调优汲取学习模型的神经网络架构，以及超参数。具有易于使用、可扩展、灵活、高效的特点。本文主要讲NNI基础的概念以及一个训练MNIST的入门教程。本文首发于GiantPandaC 阅读全文
posted @ 2021-03-01 18:13 pprp 阅读(1242) 评论(0) 推荐(0) 编辑
Sphinx 快速构建工程文档
摘要：一、 ReStructuredText 语法 介绍：reStructuredText 是一种易于阅读、所见即所得的纯文本标记语言，常被用于编写行内文档，快速创建简单网页，或者作为独立文档存在。 ——David Goodger rst可以转为html,html5,latex,xetex,xml等格式。 阅读全文
posted @ 2021-02-16 19:01 pprp 阅读(253) 评论(0) 推荐(0) 编辑
【深度强化学习】9. Policy Gradient实现中核心部分torch.distributions
摘要：【导语】：在深度强化学习第四篇中，讲了Policy Gradient的理论。通过最终推导得到的公式，本文用PyTorch简单实现以下，并且尽可能搞清楚torch.distribution的使用方法。代码参考了LeeDeepRl-Notes中的实现。 1. 复习 \[ \theta \leftarro 阅读全文
posted @ 2021-01-16 10:09 pprp 阅读(2695) 评论(0) 推荐(0) 编辑
PyTorch消除训练瓶颈 提速技巧
摘要：【GiantPandaCV导读】训练大型的数据集的速度受很多因素影响，由于数据集比较大，每个优化带来的时间提升就不可小觑。硬件方面，CPU、内存大小、GPU、机械硬盘orSSD存储等都会有一定的影响。软件实现方面，PyTorch本身的DataLoader有时候会不够用，需要额外操作，比如使用混合精度 阅读全文
posted @ 2020-12-28 08:24 pprp 阅读(6896) 评论(0) 推荐(0) 编辑
一周内如何复习思政类课程
摘要：大概查了一下，没有这方面的总结，所以我结合不久前刚考过的中特课程，总结一下这个复习过程中所用到的策略。 手机 不要看手机，不要看手机，不要看手机，到了图书馆以后，要把手机放到书包里，复习的过程中，不要拿出来看时间。需要时间的话就看手表，否则一不小心就开始刷手机，这是复习的大忌。一般复习的时候都剩余时 阅读全文
posted @ 2020-12-21 09:32 pprp 阅读(698) 评论(0) 推荐(0) 编辑
【论文阅读】Mixed Precision Training
摘要：【GiantPandaCV导语】混合精度是一个非常简单并且实用的技术，由百度和谷歌联合发表于ICLR2018，可以让模型以半精度的方式训练模型，既能够降低显存占用，又可以保持精度。这篇文章不是最先提出使用更低精度来进行训练，但是其影响力比较深远，很多现在的方案都是基于这篇文章设计的。 1. 摘要 提 阅读全文
posted @ 2020-12-20 22:03 pprp 阅读(1002) 评论(0) 推荐(0) 编辑
快速入门使用tikz绘制深度学习网络图
摘要：【GiantPandaCV导语】本文主要介绍最最最基础的tikz命令和一些绘制CNN时需要的基础的LaTeX知识，希望能在尽可能短的时间内学会并实现使用tikz这个LaTeX工具包来绘制卷积神经网络示意图。 之前看到tikz可以画出这种图，感觉特别专业，所以萌发出了解一下tikz的想法。 1. ov 阅读全文
posted @ 2020-09-16 13:01 pprp 阅读(4370) 评论(0) 推荐(0) 编辑
我们是如何改进YOLOv3进行红外小目标检测的？
摘要：【GiantPandCV导语】本文将介绍BBuf、小武和笔者一起在过年期间完成的一个目标检测项目，将描述我们模型改进的思路、实验思路、结果汇总和经验性总结。声明：这篇文章经过了三人同意，并且所有创新点也将被公布。此外，由于经验上的不足，可能整个实验思路不够成熟，比不上CV大组的严谨性和完备性，如有问 阅读全文
posted @ 2020-09-10 09:47 pprp 阅读(5123) 评论(0) 推荐(1) 编辑
【资源】CenterNet原理与代码解析
摘要：《CenterNet原理与代码解析》是首发于GiantPandaCV公众号的电子书教程，由pprp总结并整理CenterNet相关解析，这本电子书是基于非官方的CenterNet实现，https://github.com/zzzxxxttt/pytorch_simple_CenterNet_45，这 阅读全文
posted @ 2020-09-02 15:36 pprp 阅读(3381) 评论(0) 推荐(0) 编辑

1 2 3 4 5 下一页
点击右上角即可分享
微信分享提示
❄