深度学习模型 网络结构复杂，训练慢，落地难，严重影响了工业化应用，故需要进行模型加速；

本文从 计算优化、系统优化 等层面入手，为大家带来业界在 模型加速 技术上的研究和最新进展。

计算优化 就是 减少计算量，是比较常见的加速方法，下面具体介绍。

 

模型结构优化

深度学习模型深度和宽度越来越大，为了匹配 数据资源、计算资源、任务目标 等，需要进行结构设计；

目前主要是 依靠经验 设计一些 具有 类似功效的 轻型组件 来代替 原模型中的 重型组件，这一点在 CNN 领域尤为突出，CNN 本身就是对 FC 的结构优化，其他优化方式如下

 模型

 优化结构  优化方式
 NIN  MLP-conv模块 通过 1x1 卷积核 及 Avg_pooling 代替 fully connected layers 减小参数 
VGG   3x3 卷积核  采用连续的 3x3 卷积核 代替 Alexnet 中的大卷积核
GoogleNet   Inception 模块  使用多个不同尺寸的卷积核，以一种结构化的方式提取不同尺寸的信息
SqueezeNet  Fire模块  Squeeze层用 1x1 卷积核实现数据压缩，Expand层用 1x1 和 3x3 卷积核进行特征提取
MobileNets  Depth-wise conv 模块   使用 Depth-wise separable convolution 的卷积方式替代传统卷积
ShuffleNets  Group-conv模块、Channel-shuffle模块   用 Channel-shuffle 模块优化 组间信息交换

 

 

 

 

 

 

 

 

 

具体采用什么方式进行优化，需要根据具体的模型和业务，大多时候需要依赖 人工经验，不断尝试，费时费力，

为了更好更快的 设计和优化网络，神经网络结构搜索 NAS 技术 应运而生，有兴趣的可以了解下。

 

模型剪枝

在 决策树模型 中 也有剪枝的概念，其实 核心思想 都差不多；

深度学习模型剪枝 分为 结构化剪枝和非结构化剪枝；

结构化剪枝：对参数矩阵进行有规律的裁剪，如 成行 或 成列 裁剪，裁剪后的矩阵仍然是个规则的矩阵，结构化裁剪主流的方法有Channel-level、Vector-level、Group-level、Filter-level级别的裁剪。

非结构化裁剪：将原本稠密的参数矩阵裁剪为稀疏的参数矩阵，一般矩阵的形状不发生变化，只是矩阵内的值变得稀疏，类似于 正则化；因为目前大部分计算平台不支持稀疏矩阵的计算，只有结构化剪枝才能真正减少计算量。

剪枝的难点在于 剪哪里，剪多少，目前主流做法是训练一个大模型，根据参数 权重的大小 进行剪枝，去除不重要的参数，最后对裁剪后的模型 finetune 一下即可，但这种方法收敛较慢，模型也不一定是最优模型； 

为了解决这个问题，同时避免每次剪枝后重新训练模型带来的大量计算开销，
Metapruning方法设计了一个权重学习模型来学习不同网络结构对应的权重矩阵，用于评估模型搜索过程中产生的模型的好坏，从而解决了模型评估过程中模型参数训练的问题。
Metapruning算法最大的创新点在于告诉我们模型参数可以直接“生成”，而不需要训练。不过比较遗憾的时，“生成”的模型参数不能直接应用于模型推理，仅供对比评估。

根据经验，非结构化剪枝 对 模型精度 损失较小，但由于 计算平台的限制，加速效果一般；

结构化剪枝 模型加速效果明显，但是 精度算法较大；

模型剪枝形象解释如下图 

 

模型量化

模型量化 是 通过 减少每个参数的 比特数 来降低 参数内存 和 计算量，实现模型加速；

模型量化分为 线性 和 非线性 量化，线性量化如 1/2bit，非线性量化如：

半精度浮点 FP16 和 混合精度 是 常用方法，但需要底层计算平台的支持；

INT8 量化也可以，定点运算 比 浮点运算更快，但 会较大 损失 模型精度； 

 

下图稍微扩展下底层计算方式

模型量化使用场景较广，加速效果明显，对于 精度敏感 的模型，可通过 精度补偿 操作 来优化 量化模型 的效果。 

 

模型蒸馏

知识蒸馏的思想最早是由Hinton大神在15年提出的一个黑科技，Hinton在一些报告中将该技术称之为Dark Knowledge，技术上一般叫做知识蒸馏（Knowledge Distillation），是模型加速中的一种重要的手段。

目前大多数 模型蒸馏框架 都 基于 teacher-student 模式，有些方法会 多请几个 teacher，或者 配个 Assistant；

 

我的理解

一个大模型叫 teacher，一个小模型叫 student，teacher 向 student 传授训练经验，

其实就是 teacher 先趟水，把每个样本的预测一下，判断一下这个样本 像什么（label），好不好学（预测概率），不好学的（概率低），student 就没必要费劲学了，

teacher 给个分（teacher 学到的那个概率），学到那个分就行了，没必须非得学到 100 分（概率1），相当于 减轻了 student 的学习任务（loss）；

student 的 label 不是 真实的 label，是 teacher 预测完的 label；

相当于 teacher 已经 划过重点了；　　　　　　　　【这个解释绝了】

 

具体做法

损失函数的构成包含两部分，其一，是真实标签y(hard label)与 student 预测值p之间的损失，其二，是teacher model的输出q(soft label)与 student  预测值p之间的损失。

L = CE(p, y) + αCE(p, q)　　　　CE - Cross Entropy

通过这种方式，让小模型的精度趋近于大模型的精度；

 

下式的qt表示teacher model logit的输出，为了使 P具有传递相似信息的功能，即变成概率，引入softmax函数，并增添了温度T参数。

对T的讨论：

  • 当T -> inf时， 所有的类别会获得相同的概率，就是一个均匀分布；
  • 当T ->0时，则最大值会接近于1，其他值会趋近于0，近似于one hot编码(hard label)；
  • 当T ->1时，就是softmax公式本身。

 

小结 

模型加速 不仅 加速了训练，更 使得模型在 推理阶段 符合工业需求，可在移动端进行部署。

 

 

 

参考资料：

https://zhuanlan.zhihu.com/p/147204568　　深度学习模型，有哪些最新的加速技术？　　　　腾讯技术派

https://www.cnblogs.com/monologuesmw/p/13222983.html　　模型加速（一） 概述 

https://www.cnblogs.com/monologuesmw/category/1797585.html　　随笔分类 - 模型加速　　　　和上面的博客是同一个人的，比较通俗易懂

https://blog.csdn.net/u012108600/article/details/102685883　　深度学习模型加速方法

https://zhuanlan.zhihu.com/p/79533156　　三张图看懂深度学习模型加速及压缩

https://blog.csdn.net/haima1998/article/details/78250143　　Nvidia GPU的浮点计算能力(FP64/FP32/FP16)