09 2021 档案

【神经网络结构搜索】DNA: Block-wisely Supervised NAS with KD
摘要：【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。 1. 背景介绍 知识蒸馏通常作为One-Shot NAS中的一个训练技巧，但是他起到非常大的作用。 简便起见，知识蒸 阅读全文
posted @ 2021-09-27 15:31 pprp 阅读(268) 评论(0) 推荐(0) 编辑
DeiT：使用Attention蒸馏Transformer
摘要：题目：Training data-efficient image transformers & distillation through attention 【GiantPandaCV导语】Deit是一个全Transformer的架构，没有使用任何的卷及操作。其核心是将蒸馏方法引入VIT的训练，引入 阅读全文
posted @ 2021-09-24 10:19 pprp 阅读(1682) 评论(0) 推荐(0) 编辑
ECCV20 BigNAS无需后处理直接部署
摘要：【GiantPandaCV导语】这篇是Slimmable Network三部曲之后的续作，提出了Single-Stage的超网训练方法，在更大的搜索空间中，提出了很多训练的Trick来提升训练效果以及稳定训练过程。 0. Info Title: BigNAS: Scaling Up Neural A 阅读全文
posted @ 2021-09-17 10:12 pprp 阅读(223) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
❄