调研--模型压缩

需求

占内存太大：但是没有想明白哪里占？参数？

那就计算一下参数：每个特征哈希出多少个结果

 

常见方法

• Pruning（修剪）: 因为神经网络很多权重几乎为0，这类参数作用不大，部分参数删掉也不影响模型预测效果
• Weight Factorization（权重分解）：权重矩阵可以进行低秩矩阵分解，即low-rank matrix factorization，从而使得一些参数为0
• Quantization（削减精度）：能用float32，不用float64；能用int，不用float
• Weight Sharing（共享权重）：很多layer的参数可以共享，没必要用太多参数