深度学习网络压缩模型方法总结(model compression)

两派

1. 新的卷机计算方法

这种是直接提出新的卷机计算方式，从而减少参数，达到压缩模型的效果，例如SqueezedNet,mobileNet

1. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

修改网络结构，类似于mobileNet

2. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

修改卷机计算方式，depth-wise 卷积

2. 已训练好的模型上做裁剪

这种就是在训练好的模型上做一些修改，然后在fine-tuning到原来的准确率，主要有一些方法

• 剪枝：神经网络是由一层一层的节点通过边连接，每个边上会有权重，所谓剪枝，就是当我们发现某些边上的权重很小，可以认为这样的边不重要，进而可以去掉这些边。在训练的过程中，在训练完大模型之后，看看哪些边的权值比较小，把这些边去掉，然后继续训练模型；

• 权值共享：就是让一些边共用一个权值，达到缩减参数个数的目的。假设相邻两层之间是全连接，每层有1000个节点，那么这两层之间就有1000*1000=100万个权重参数。可以将这一百万个权值做聚类，利用每一类的均值代替这一类中的每个权值大小，这样同属于一类的很多边共享相同的权值，假设把一百万个权值聚成一千类，则可以把参数个数从一百万降到一千个。

• 量化：一般而言，神经网络模型的参数都是用的32bit长度的浮点型数表示，实际上不需要保留那么高的精度，可以通过量化，比如用0~255表示原来32个bit所表示的精度，通过牺牲精度来降低每一个权值所需要占用的空间。

• 神经网络二值化：比量化更为极致的做法就是神经网络二值化，也即将所有的权值不用浮点数表示了，用二进制的数表示，要么是+1,要么是-1，用二进制的方式表示，原来一个32bit权值现在只需要一个bit就可以表示，可以大大减小模型尺寸。

1. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

网络权重二值化、输入二值化，从头开始训练一个二值化网络，不是在已有的网络上二值化

2. Learning both Weights and Connections for Efficient Neural Networks

学习重要的连接，根据连接的权重进行裁剪，fine-tuning让网络保持稀疏的连接

3. Exploiting linear structure within convolutional networks for efficient evaluation.

对已经训练好的网络应用奇异值分解

4. Eie: Efficient inference engine on compressed deep neural network.

加速器

5. Deep compression: Compressing DNNs with pruning, trained quantization and huffman coding.

裁剪(阈值)、量化(8bit,存储方式)、哈夫曼编码
http://blog.csdn.net/may0324/article/details/52935869

7. Deep Model Compression: Distilling Knowledge from Noisy Teachers

Teacher-student Framework，一个网络指导另外一个网络的训练

8. PerforatedCNNs: Acceleration through Elimination of Redundant Convolutions

在一些稀疏位置跳过CNN求值，加速效果不明显，且不能压缩模型

9. Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1

训练二值化网络
https://tensortalk.com/?cat=model-compression-parameter-pruning

10. PRUNING FILTERS FOR EFFICIENT CONVNETS

计算filter的L1范数，直接过滤掉较小L1范数对应的feature map, 然后再次训练，有两种，一是每裁剪一层训练一下，一是直接裁剪整个网络，然后fine-tuning. 相比权值连接的裁剪，这种比较暴力，好处就是不会引入稀疏矩阵的计算，从而也不需要稀疏矩阵库，坏处就是可能无法恢复到最开始的准确率。