G Hinton-- Distilling the Knowledge in a Neural Network
摘要：Distilling the Knowledge in a Neural Network url: https://arxiv.org/abs/1503.02531year: NIPS 2014  简介 将大模型的泛化能力转移到小模型的一种显而易见的方法是使用由大模型产生的类概率作为训练小模型的
阅读全文
综述:模型压缩与剪枝 之二
摘要：深度学习使得很多计算机视觉任务的性能达到了一个前所未有的高度。不过，复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。为了解决这些问题，许多业界学者研究模型压缩方法以最大限度的减小模型对于计算空间和时间的消耗。最近团队里正在研究模型压缩相关的
阅读全文
深度神经网络加速与压缩|VALSE2018之六 程健
摘要：郑板桥在《赠君谋父子》一诗中曾写道， “删繁就简三秋树；领异标新二月花。” 这句诗讲的是，在画作最易流于枝蔓的兰竹时，要去掉其繁杂使之趋于简明如“三秋之树”；而针对不同的意境要有发散的引申，从而使每幅作品都如“二月之花”般新颖。 其实在人工智能领域，深度神经网络的设计，便如同绘制枝蔓繁复的兰竹，需在
阅读全文
华为诺亚方舟实验室提出无需数据网络压缩技术
摘要：本文转载自：华为诺亚方舟实验室 华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《DAFL：Data-Free Learning of Student Networks》，提出了在无数据情况下的网络蒸馏方法（DAFL），比之前的最好算法在MNIST上提升了6个百分点，并且使用resnet18在CIF
阅读全文
基于知识蒸馏的模型压缩和加速
摘要：基于知识蒸馏的模型压缩和加速 动机： 目标：想要获得一个实时的模型，且尽可能的准确。 我们有一个大模型性能很好，但是很慢： 我们有个小模型速度很快，但是性能很差： 动机：面临的挑战 1、由于容量和能力，小模型很难达到一个很好的性能。 2、精确度和模型压缩之间的差距还是很大 3、物体检测比分类要困难得
阅读全文
综述：深度神经网络模型压缩和加速方法
摘要：本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，论文对每一类方法的性能、相关应用、优势和缺陷等方面进行了独到分析。 ■ 论文 | A Survey of Model Compression and Acceleration for Deep
阅读全文
