Incremental Network Quantization Towards Lossless CNNs with Low-Precision Weights

目录

• 概
• 主要思想
• 代码

Zhou A., Yao A., Guo Y., Xu L. and Chen Y. Incremental network quantization: Towards lossless cnns with low-precision weights. ICLR, 2017.

概

本文提出了一种增量式的量化方法, 能够逐步地将模型参数一点点地量化.

主要思想

• 本文思想很简单, 比如给定一个完整的预训练好的模型:

  1. 挑选 50% 量化, 剩下 50% re-training 以恢复结果;
  2. 接着从剩下的 50% 中挑选 50% 量化, 剩下 25% re-training 以恢复结果;
  3. 直到最终完全量化.

• 这里挑选的策略用的是 pruning-inspired parition, 即每次将绝对值比较小的权重优先挑出来量化.

• 量化策略, 选择的是 power-of-two.

代码

[official-code]