神经网络模型量化

基本概念

• 昇腾模型压缩工具提供了一系列的模型压缩方法，对模型进行压缩处理后，生成的部署模型在昇腾AI处理器上可使能一系列性能优化操作，提高性能。昇腾模型压缩工具当前使用的压缩方法主要包括：量化、融合以及张量分解，根据功能划分为量化和张量分解。

量化

• 量化是指对模型的权重（weight）和数据（activation）进行低比特处理，让最终生成的网络模型更加轻量化，从而达到节省网络模型存储空间、降低传输时延、提高计算效率，达到性能提升与优化的目标。

张量分解

• 张量分解通过分解卷积核的张量，将一个卷积转化成两个小卷积的堆叠来降低推理开销。

融合

• 融合是指通过数学等价，将模型中的多个算子运算融合单算子运算，以减少实际前向过程中的运算量，如将卷积层和BN层融合为一个卷积层。