05 2021 档案

【Pytorch基础】BatchNorm常识梳理与使用
摘要：BatchNorm, 批规范化，主要用于解决协方差偏移问题，主要分三部分： 计算batch均值和方差 规范化 仿射affine 算法内容如下： 需要说明几点： 均值和方差是batch的统计特性，pytorch中用running_mean和running_var表示 $\gamma 和\bet 阅读全文
posted @ 2021-05-29 11:03 pprp 阅读(1313) 评论(0) 推荐(0) 编辑
【神经网络搜索】神经网络架构国内外发展现状-NAS信息检索
摘要：@ [1] 信息检索语言 信息检索语言是用于描述信息系统中的信息的内容特征，常见的信息检索语言包括分类语言和主题语言。就神经网络架构搜索这个问题来说，最好选择主题语言，可以通过借助自然语言，更具有直观性和概念唯一性。而主题语言分为关键词语言和纯自然语言。 选用关键词语言就要挑选神经网络架构搜索的关键 阅读全文
posted @ 2021-05-28 16:14 pprp 阅读(883) 评论(0) 推荐(0) 编辑
【神经网络搜索】Once for all
摘要：【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。 0. Info Title: Once-for-All: Train one Netwo 阅读全文
posted @ 2021-05-28 14:15 pprp 阅读(385) 评论(0) 推荐(0) 编辑
如何阅读和学习深度学习项目代码
摘要：【前言】现在深度学习项目代码量越来越大，并且单个文件的量也非常的大。笔者总结了一些专家的经验并结合自己看的一些项目，打算总结一下如何探索和深入一个深度学习项目库。笔者pprp，未经允许不得擅自转发。 1. 基础知识 首先，需要保证有一定的深度学习基础知识，吴恩达的深度学习课还有斯坦福大学的CS231 阅读全文
posted @ 2021-05-27 21:48 pprp 阅读(1890) 评论(0) 推荐(0) 编辑
【NAS工具箱】Pytorch中的Buffer&Parameter
摘要：Parameter ： 模型中的一种可以被反向传播更新的参数。 第一种： 直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。 def __init__(self): super(MyModel, self).__init__() self.param = nn. 阅读全文
posted @ 2021-05-27 11:01 pprp 阅读(219) 评论(0) 推荐(0) 编辑
【NAS工具箱】Drop Path介绍 + Dropout回顾
摘要：【前言】Drop Path是NAS中常用到的一种正则化方法，由于网络训练的过程中常常是动态的，Drop Path就成了一个不错的正则化工具，在FractalNet、NASNet等都有广泛使用。 Dropout Dropout是最早的用于解决过拟合的方法，是所有drop类方法的大前辈。Dropout在 阅读全文
posted @ 2021-05-26 21:50 pprp 阅读(4951) 评论(0) 推荐(0) 编辑
【神经网络架构搜索】NAS-Bench-101: 可复现神经网络搜索
摘要：【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。 0. 摘要 神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源，导致很难去复现实验。 阅读全文
posted @ 2021-05-19 09:22 pprp 阅读(868) 评论(0) 推荐(0) 编辑
【神经网络搜索】Single Path One Shot
摘要：【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同，SPOS可以直接在大型数据集ImageNet上搜索，并且文章还提出了一种缓和权重共享的NAS的解耦策略，让模型能有更好的排序一致性。 代码：https://githu 阅读全文
posted @ 2021-05-04 11:05 pprp 阅读(1070) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
❄