11 2021 档案

知识蒸馏综述: 知识的类型
摘要：知识蒸馏综述: 知识的类型 【GiantPandCV引言】简单总结一篇综述《Knowledge Distillation A Survey》中的内容，提取关键部分以及感兴趣部分进行汇总。这篇是知识蒸馏综述的第一篇，主要内容为知识蒸馏中知识的分类，包括基于响应的知识、基于特征的知识和基于关系的知识。 阅读全文
posted @ 2021-11-28 09:49 pprp 阅读(1006) 评论(0) 推荐(0) 编辑
【知识蒸馏】Knowledge Review
摘要：【GiantPandaCV引言】 知识回顾（KR）发现学生网络深层可以通过利用教师网络浅层特征进行学习，基于此提出了回顾机制，包括ABF和HCL两个模块，可以在很多分类任务上得到一致性的提升。 摘要 知识蒸馏通过将知识从教师网络传递到学生网络，但是之前的方法主要关注提出特征变换和实施相同层的特征。 阅读全文
posted @ 2021-11-21 16:53 pprp 阅读(403) 评论(0) 推荐(0) 编辑
【知识蒸馏】Deep Mutual Learning
摘要：【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多，所以本文分析这篇CVPR201 阅读全文
posted @ 2021-11-16 22:09 pprp 阅读(1262) 评论(0) 推荐(0) 编辑
Towards Oracle Knowledge Distillation with NAS
摘要：【GiantPandaCV导语】本文介绍的如何更好地集成教师网络，从而更好地提取知识到学生网络，提升学生网络的学习能力和学习效率。从方法上来讲是模型集成+神经网络结构搜索+知识蒸馏的综合问题，在这里使用简单的NAS来降低教师网络与学生网络之间的差距。 背景介绍 解决的问题？ 希望从集成的教师网络中提 阅读全文
posted @ 2021-11-11 15:53 pprp 阅读(142) 评论(0) 推荐(0) 编辑
分类技巧：Fixing the train-test resolution discrepancy
摘要：【GiantPandaCV导语】调研分类方法的时候师姐推荐的一篇paper，其核心是训练的时候使用小分辨率，测试的时候使用大分辨率（训练分辨率的1.15倍），能够有效提升验证精度。 Motivation ImageNet数据集分类模型通常采用的数据增强方式会导致训练时和测试时的模型看到的目标尺寸出现 阅读全文
posted @ 2021-11-08 16:54 pprp 阅读(262) 评论(0) 推荐(0) 编辑
Bag of Tricks for Neural Architecture Search
摘要：【GiantPandaCV导语】相比于普通的分类网络，基于超网的NAS更加难以训练，会出现收敛效果较差甚至不收敛的情况。并且，基于超网的NAS还需要额外关注子网的排序一致性等问题，训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR20 阅读全文
posted @ 2021-11-05 09:44 pprp 阅读(179) 评论(0) 推荐(0) 编辑
【神经网络搜索】NasBench301 使用代理模型构建Benchmark
摘要：【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表，其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。 Paper: NAS-Bench-301 and The case for surrog 阅读全文
posted @ 2021-11-01 08:16 pprp 阅读(583) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
❄