2021年9月27日
【神经网络结构搜索】DNA: Block-wisely Supervised NAS with KD
摘要： 【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作，提出了DNA，让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起，有很强的创新性，已被CVPR20接收。 1. 背景介绍 知识蒸馏通常作为One-Shot NAS中的一个训练技巧，但是他起到非常大的作用。 简便起见，知识蒸 阅读全文
posted @ 2021-09-27 15:31 pprp 阅读(171) 评论(0) 推荐(0) 编辑