随笔分类 -  NAS

知识蒸馏综述:网络结构搜索应用
摘要：【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。 1. 引言 知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以 阅读全文
posted @ 2021-12-12 19:34 pprp 阅读(533) 评论(0) 推荐(0) 编辑
知识蒸馏综述: 知识的类型
摘要：知识蒸馏综述: 知识的类型 【GiantPandCV引言】简单总结一篇综述《Knowledge Distillation A Survey》中的内容，提取关键部分以及感兴趣部分进行汇总。这篇是知识蒸馏综述的第一篇，主要内容为知识蒸馏中知识的分类，包括基于响应的知识、基于特征的知识和基于关系的知识。 阅读全文
posted @ 2021-11-28 09:49 pprp 阅读(1008) 评论(0) 推荐(0) 编辑
【知识蒸馏】Deep Mutual Learning
摘要：【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多，所以本文分析这篇CVPR201 阅读全文
posted @ 2021-11-16 22:09 pprp 阅读(1262) 评论(0) 推荐(0) 编辑
Towards Oracle Knowledge Distillation with NAS
摘要：【GiantPandaCV导语】本文介绍的如何更好地集成教师网络，从而更好地提取知识到学生网络，提升学生网络的学习能力和学习效率。从方法上来讲是模型集成+神经网络结构搜索+知识蒸馏的综合问题，在这里使用简单的NAS来降低教师网络与学生网络之间的差距。 背景介绍 解决的问题？ 希望从集成的教师网络中提 阅读全文
posted @ 2021-11-11 15:53 pprp 阅读(142) 评论(0) 推荐(0) 编辑
Bag of Tricks for Neural Architecture Search
摘要：【GiantPandaCV导语】相比于普通的分类网络，基于超网的NAS更加难以训练，会出现收敛效果较差甚至不收敛的情况。并且，基于超网的NAS还需要额外关注子网的排序一致性等问题，训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR20 阅读全文
posted @ 2021-11-05 09:44 pprp 阅读(179) 评论(0) 推荐(0) 编辑
【神经网络搜索】NasBench301 使用代理模型构建Benchmark
摘要：【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表，其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。 Paper: NAS-Bench-301 and The case for surrog 阅读全文
posted @ 2021-11-01 08:16 pprp 阅读(583) 评论(0) 推荐(0) 编辑
NetAug 韩松团队新作
摘要：【GiantPandaCV导语】本文介绍的是韩松团队针对欠拟合问题提出的一种解决方案，在代价可接受范围内能够提升小模型的性能。 引入 专用于解决小型网络模型欠拟合 带来的问题，通过引入更大的模型包围住小模型从而得到额外的监督信息。欠拟合情况下使用正则化方法进行处理会导致性能更差。 NetAug适用场 阅读全文
posted @ 2021-10-28 14:16 pprp 阅读(211) 评论(0) 推荐(0) 编辑
【神经网络结构搜索】DNA: Block-wisely Supervised NAS with KD
摘要：【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。 1. 背景介绍 知识蒸馏通常作为One-Shot NAS中的一个训练技巧，但是他起到非常大的作用。 简便起见，知识蒸 阅读全文
posted @ 2021-09-27 15:31 pprp 阅读(268) 评论(0) 推荐(0) 编辑
ECCV20 BigNAS无需后处理直接部署
摘要：【GiantPandaCV导语】这篇是Slimmable Network三部曲之后的续作，提出了Single-Stage的超网训练方法，在更大的搜索空间中，提出了很多训练的Trick来提升训练效果以及稳定训练过程。 0. Info Title: BigNAS: Scaling Up Neural A 阅读全文
posted @ 2021-09-17 10:12 pprp 阅读(223) 评论(0) 推荐(0) 编辑
如何更好地调整学习率？
摘要：【GiantPandaCV导读】learning rate对模型调优重要性不言而喻，想到超参数调优第一个可能想到的方法就是网格搜索Grid Search，但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率，本文就主要分析 阅读全文
posted @ 2021-07-06 09:33 pprp 阅读(1464) 评论(0) 推荐(1) 编辑
ICLR 2021 NAS 相关论文(包含Workshop)
摘要：ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yucen Luo and Jun Zhu PDF AutoHAS: 阅读全文
posted @ 2021-06-22 09:40 pprp 阅读(522) 评论(0) 推荐(0) 编辑
CVPR2021 NAS相关论文链接
摘要：Neural Architecture Search with Random Labels Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search AttentiveNAS: I 阅读全文
posted @ 2021-06-22 09:15 pprp 阅读(258) 评论(0) 推荐(0) 编辑
【神经网络架构搜索】SMASH直接生成候选网络权重
摘要：1. INFO Title: SMASH: One-Shot Model Architecture Search through HyperNetworks Author: Andrew Brock, Theodore Lim, & J.M. Ritchie Link: https://arxiv. 阅读全文
posted @ 2021-06-21 18:12 pprp 阅读(298) 评论(0) 推荐(0) 编辑
【神经网络搜索】神经网络架构国内外发展现状-NAS信息检索
摘要：@ [1] 信息检索语言 信息检索语言是用于描述信息系统中的信息的内容特征，常见的信息检索语言包括分类语言和主题语言。就神经网络架构搜索这个问题来说，最好选择主题语言，可以通过借助自然语言，更具有直观性和概念唯一性。而主题语言分为关键词语言和纯自然语言。 选用关键词语言就要挑选神经网络架构搜索的关键 阅读全文
posted @ 2021-05-28 16:14 pprp 阅读(883) 评论(0) 推荐(0) 编辑
【神经网络搜索】Once for all
摘要：【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。 0. Info Title: Once-for-All: Train one Netwo 阅读全文
posted @ 2021-05-28 14:15 pprp 阅读(385) 评论(0) 推荐(0) 编辑
【NAS工具箱】Pytorch中的Buffer&Parameter
摘要：Parameter ： 模型中的一种可以被反向传播更新的参数。 第一种： 直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。 def __init__(self): super(MyModel, self).__init__() self.param = nn. 阅读全文
posted @ 2021-05-27 11:01 pprp 阅读(219) 评论(0) 推荐(0) 编辑
【NAS工具箱】Drop Path介绍 + Dropout回顾
摘要：【前言】Drop Path是NAS中常用到的一种正则化方法，由于网络训练的过程中常常是动态的，Drop Path就成了一个不错的正则化工具，在FractalNet、NASNet等都有广泛使用。 Dropout Dropout是最早的用于解决过拟合的方法，是所有drop类方法的大前辈。Dropout在 阅读全文
posted @ 2021-05-26 21:50 pprp 阅读(4951) 评论(0) 推荐(0) 编辑
【神经网络架构搜索】NAS-Bench-101: 可复现神经网络搜索
摘要：【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集，用于研究神经网络架构搜索。本文首发GiantPandaCV，请不要随意转载。 0. 摘要 神经网络搜索近年来取得进步巨大，但是由于其需要巨大的计算资源，导致很难去复现实验。 阅读全文
posted @ 2021-05-19 09:22 pprp 阅读(868) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
❄