目前想往模型部署优化这个方向发展，请问学习路线是什么？

https://www.zhihu.com/question/411393222

 

 

模型部署优化可简单分为三个大方向：

1. 模型结构优化：设计出更适合目标硬件的模型结构，目前人工设计居多，也有一些NAS
2. 模型压缩：不改变模型框架的情况下，压缩其理论计算量，其中模型剪枝、模型量化最为常用
3. 推理优化：编写高性能的算子来加速模型在目标硬件的计算（需要优化到汇编级别）

答主的训练框架是PyTorch，我推荐一个相对简单的路线，把各个部分过一下，然后你可以选择自己感兴趣的点深入

1. 结构：学习一下 MobileNet（当初面试，就被问了MobileNet的特点和实现细节）、ShuffleNet 、Yolo等面向部署的模型结构，最好读读论文搞懂为什么要这样设计
2. 剪枝：用NNI、TinyNeuralNetwork 等框架对模型进行剪枝，并阅读其源码了解常用的剪枝方法
3. 量化：用PyTorch 的 FX 模块、TinyNeuralNetwork等框架完成模型的量化，如果要深入了解原理建议阅读Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 这篇论文（非常经典，里面还有汇编如何实现等底层细节）。
4. 推理：这块已经很成熟了，基本就调用目标芯片对应的框架，例如TensorRT（NVIDIA GPU），OpenVINO（Intel CPU），MNN、TNN、TFLite（大部分移动端芯片），TFLite Micro、Tengine（特定嵌入式芯片），除此之外很多芯片厂商还提供了自己的解决方案此处不多赘述。
5. 推理性能优化：目前深度学习推理性能优化，大部分情况下等同于矩阵乘法的加速，因此题主可以找几篇矩阵乘法加速的文章阅读并实践一下。此处不建议直接去读推理框架源码，除非真的很感兴趣并决定深耕，因为这块较为底层，上手难度很大。