pprp

摘要： Transforms从torch1.7开始新增了该特性，之前transform进行数据增强的方式是如下的，i.e. 使用compose的方式： default_configure = T.Compose([ T.RandomCrop(32, 4), T.RandomHorizontalFlip(), 阅读全文

摘要： 【GiantPandaCV导语】这学期参加了一个比赛，有比较大的代码量，在这个过程中暴露出来很多问题。由于实验记录很糟糕，导致结果非常混乱、无法进行有效分析，也没能进行有效的回溯。趁比赛完结，打算重构一下代码，顺便参考一些大型项目的管理方法。本文将总结如何高效、标准化管理深度学习实验。以下总结偏个人 阅读全文

摘要： 【GiantPandaCV导语】日志对程序执行情况的排查非常重要，通过日志文件，可以快速定位出现的问题。本文将简单介绍使用logging生成日志的方法。 logging模块介绍 logging是python自带的包，一共有五个level: debug: 查看程序运行的信息，调试过程中需要使用。 in 阅读全文

摘要： 【GiantPandaCV导语】深度学习调参过程中会遇到很多参数，为了完整保存一个项目的所有配置，推荐使用yaml工具进行配置。 简介 Yaml是可读的数据序列化语言，常用于配置文件。 支持类型有： 标量（字符串、证书、浮点） 列表 关联数组 字典 语法特点： 大小写敏感 缩进表示层级关系 列表通过 阅读全文

摘要：  阅读全文

摘要： BatchNorm, 批规范化，主要用于解决协方差偏移问题，主要分三部分： 计算batch均值和方差 规范化 仿射affine 算法内容如下： 需要说明几点： 均值和方差是batch的统计特性，pytorch中用running_mean和running_var表示 $\gamma \(和\)\bet 阅读全文

摘要： @ [1] 信息检索语言 信息检索语言是用于描述信息系统中的信息的内容特征，常见的信息检索语言包括分类语言和主题语言。就神经网络架构搜索这个问题来说，最好选择主题语言，可以通过借助自然语言，更具有直观性和概念唯一性。而主题语言分为关键词语言和纯自然语言。 选用关键词语言就要挑选神经网络架构搜索的关键 阅读全文

摘要： 【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。 0. Info Title: Once-for-All: Train one Netwo 阅读全文

摘要： 【前言】现在深度学习项目代码量越来越大，并且单个文件的量也非常的大。笔者总结了一些专家的经验并结合自己看的一些项目，打算总结一下如何探索和深入一个深度学习项目库。笔者pprp，未经允许不得擅自转发。 1. 基础知识 首先，需要保证有一定的深度学习基础知识，吴恩达的深度学习课还有斯坦福大学的CS231 阅读全文

摘要： Parameter ： 模型中的一种可以被反向传播更新的参数。 第一种： 直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。 def __init__(self): super(MyModel, self).__init__() self.param = nn. 阅读全文

摘要： 【前言】Drop Path是NAS中常用到的一种正则化方法，由于网络训练的过程中常常是动态的，Drop Path就成了一个不错的正则化工具，在FractalNet、NASNet等都有广泛使用。 Dropout Dropout是最早的用于解决过拟合的方法，是所有drop类方法的大前辈。Dropout在 阅读全文

摘要： 【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。 0. 摘要 神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源，导致很难去复现实验。 阅读全文

摘要： 【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。 代码：https://githu 阅读全文

摘要： 【GiantPandaCV】DARTS将离散的搜索空间松弛，从而可以用梯度的方式进行优化，从而求解神经网络搜索问题。本文首发于GiantPandaCV，未经允许，不得转载。 1. 简介 此论文之前的NAS大部分都是使用强化学习或者进化算法等在离散的搜索空间中找到最优的网络结构。而DARTS的出现，开 阅读全文

摘要： 【GiantPandaCV导语】Neural Network Intelligence 是一个工具包，可以有效帮助用户设计并调优汲取学习模型的神经网络架构，以及超参数。具有易于使用、可扩展、灵活、高效的特点。本文主要讲NNI基础的概念以及一个训练MNIST的入门教程。本文首发于GiantPandaC 阅读全文

摘要： 【GiantPandaCV导语】本文介绍的是Efficient Neural Architecture Search方法，主要是为了解决之前NAS中无法完成权重重用的问题，首次提出了参数共享Parameter Sharing的方法来训练网络，要比原先标准的NAS方法降低了1000倍的计算代价。从一个 阅读全文

摘要： 一、 ReStructuredText 语法 介绍：reStructuredText 是一种易于阅读、所见即所得的纯文本标记语言，常被用于编写行内文档，快速创建简单网页，或者作为独立文档存在。 ——David Goodger rst可以转为html,html5,latex,xetex,xml等格式。 阅读全文

摘要： 未经允许，不得转载。 1、环境 显卡：Gtx 1080Ti 系统：Ubuntu16.04 并行：cuda11.1和对应的cudnn8.1 软件：Tensorflow2.4 和 PyTorch1.7 驱动：460.39 cuda链接：https://pan.baidu.com/s/1_01EZN_Uj 阅读全文

摘要： 【GiantPandaCV导语】这个系列已经好几个月没有更新了，开始继续更这个方向论文，19年、20年又出现了很多关于Attention的研究，本文SA-Net:shuffle attention for deep convolutional neural networks 发表在ICASSP 21 阅读全文

摘要： 首发于GiantPandaCV公众号，作者本人亲自转发在博客园，请勿在没有联系本人的情况下进行转载。 谷歌最早发表的有关NAS的文章，全称Neural Architecture Search with Reinforcement Learning 神经网络架构搜索经典范式是，首先通过controll 阅读全文

摘要： 【导语】：在深度强化学习第四篇中，讲了Policy Gradient的理论。通过最终推导得到的公式，本文用PyTorch简单实现以下，并且尽可能搞清楚torch.distribution的使用方法。代码参考了LeeDeepRl-Notes中的实现。 1. 复习 \[ \theta \leftarro 阅读全文

摘要： 翻译：http://colah.github.io/notes/taste/ 科研敏感性就是在你众多研究方向上，找到具有研究价值的、可行性高的研究方向。如果盲目尝试各个研究方向，每个方向上的想法可能会耗费几个月时间才能得到反馈，即是否有价值、可行性如何等信息。 不推荐你情执取研究一些你觉得并不有趣的 阅读全文

摘要： 【GiantPandaCV导读】训练大型的数据集的速度受很多因素影响，由于数据集比较大，每个优化带来的时间提升就不可小觑。硬件方面，CPU、内存大小、GPU、机械硬盘orSSD存储等都会有一定的影响。软件实现方面，PyTorch本身的DataLoader有时候会不够用，需要额外操作，比如使用混合精度 阅读全文

摘要： 大概查了一下，没有这方面的总结，所以我结合不久前刚考过的中特课程，总结一下这个复习过程中所用到的策略。 手机 不要看手机，不要看手机，不要看手机，到了图书馆以后，要把手机放到书包里，复习的过程中，不要拿出来看时间。需要时间的话就看手表，否则一不小心就开始刷手机，这是复习的大忌。一般复习的时候都剩余时 阅读全文

摘要： 【GiantPandaCV导语】混合精度是一个非常简单并且实用的技术，由百度和谷歌联合发表于ICLR2018，可以让模型以半精度的方式训练模型，既能够降低显存占用，又可以保持精度。这篇文章不是最先提出使用更低精度来进行训练，但是其影响力比较深远，很多现在的方案都是基于这篇文章设计的。 1. 摘要 提 阅读全文

摘要： 【GiantPandaCV导语】Pytorch Lightning是在Pytorch基础上进行封装的库，为了让用户能够脱离PyTorch一些繁琐的细节，专注于核心代码的构建，提供了许多实用工具，可以让实验更加高效。本文将介绍安装方法、设计逻辑、转化的例子等内容。 PyTorch Lightning中 阅读全文

摘要： 【GiantPandaCV导语】本科期间只是将线代学了，并且通过做题拿到了一个不错的分数，但是掌握并不牢靠。到了研究生阶段以后，模式识别、机器学习、应用数学等课程都需要大量运用线代进行推导或者证明，线代知识的匮乏让我很吃力，所以借祝老师在模式识别绪论课程上展示的需要的矩阵相关的数学基础，在此总结、快 阅读全文

摘要： 【DataWhale打卡】第一天：学习周博磊讲的强化学习结合《深入理解AutoML和AutoDL》这本书中的强化学习的章节总结了基础部分。 参考资料：https://github.com/zhoubolei/introRL 先导课程：线性代数、概率论、机器学习/数据挖掘/深度学习/模式识别 编程基础 阅读全文

摘要： 【GiantPandaCV导语】本文主要介绍最最最基础的tikz命令和一些绘制CNN时需要的基础的LaTeX知识，希望能在尽可能短的时间内学会并实现使用tikz这个LaTeX工具包来绘制卷积神经网络示意图。 之前看到tikz可以画出这种图，感觉特别专业，所以萌发出了解一下tikz的想法。 1. ov 阅读全文

摘要： 【GiantPandCV导语】本文将介绍BBuf、小武和笔者一起在过年期间完成的一个目标检测项目，将描述我们模型改进的思路、实验思路、结果汇总和经验性总结。声明：这篇文章经过了三人同意，并且所有创新点也将被公布。此外，由于经验上的不足，可能整个实验思路不够成熟，比不上CV大组的严谨性和完备性，如有问 阅读全文