使用C++版本Mxnet进行预测的注意事项

现在越来越多的人选择Mxnet作为深度学习框架，相应的中文社区非常活跃，而且后面推出的gluon以及gluoncv非常适合上手和实验，特别是gluoncv中提供了非常多、非常新的预训练model zoo，比如像yolov3这种~~不过网上（包括Mxnet社区、gluon论坛等等）大多是关于Python版本的话题，关于C++版本的资料却非常少，最近在用C++版本的mxnet，进行人脸检测和识别，踩到不少的坑，在这里总结一下。

1.C++版本的Mxnet需要进行手动编译，里面有不同的数学计算加速方式，比如MKL，MKLDNN或者openblas(前者主要针对Intel的cpu架构，后者是一个比较通用的线性代数优化库，MKLDNN针对神经网络进行优化)等等，编译完成之后可以使用里面的c_api，即#include <mxnet/c_predict_api.h>或者使用提供的cpp的api：#include "mxnet-cpp/MxNetCpp.h"。

2.如果手动编译过Mxnet会发现Mxnet实际上是好几个项目的集合，比如NNVM，mshadow，dmlc等等，后端引擎负责真正的计算部分，前端实现接口调用，而且作者花了大部分精力围绕在Python接口的编写上，所以关于Python方面的接口非常多，而像C、C++的接口真的很少，不过Mxnet是一个经常进行更新的项目，所以以后是否会完善这些拭目以待。

3.性能时间度量。以下：

(1)一定要注意mxnet前端语言可能会异步调用后端的计算结果，以Python为例，当你使用CPU对比较深的resnet模型进行一次预测，有时发现耗仅仅数毫秒，而在后面的asnumpy时却使用了上百毫秒。避免这种情况出现的最好方式就是使用mxnet.ndarray.waitall()，强制等待前面的操作执行完成；

(2)很多操作第一次都会比较耗时，比如load参数到内存，甚至像opencv中的resize有时第一次也会比较耗时，所以如果想公平的统计某一时段的时间开销，最好是先手动执行一次，然后跑多个loop取平均值进行比较。有些同学拿imread一次预测然后统计时间，这样的话相当于把load参数等相关开销都计算在内了，这是不适合的；

(3)关于batch操作。不止训练阶段有batch操作，预测(predict或者inference)也有，比如做人脸识别，需要把检测出来的多个人脸的bounding box的图像分别抠出来然后组成一个batch，这时候识别网络的输入就是batch_num x channel x high x width。为什么需要进行batch操作？假如我们使用GPU，很明显可以进行cuda并行计算大大加快处理速度；如果使用CPU的话某些数学优化库也会让这个速度有一定提升，不过相比较而言不是非常明显；使用batch操作非常需要注意的是一定要考虑内存是否足够，实际处理的时候要评估一下最大的batch数目，否则很容易out of memory；

4.关于Mxnet C/C++的预测，一般用MXPredCreate创建识别引擎PredictorHandle，然后使用MXPredSetInput设置输入，用MXPredForward进行预测，一定要注意的是创建的PredictorHandle在使用完之后一定别忘调用MXPredFree释放，否则跑多次内存会泄漏的非常快。另外要注意C/C++提供的api中，预测的时候MXPredSetInput设置的参数维度是固定的，比如当你的batch数变化的时候PredictorHandle也需要改变，为了feed不同的输入，可以用MXPredReshape重新改变batch_num x channel x high x width的输入形状，而不需要每次重新load参数再调MXPredCreate，因为MXPredCreate的开销非常大，相比较而言MXPredReshape的开销小一些。但MXPredReshape也并不是一点开销没有，当你需要识别的人脸数的batch一直在变，频繁的reshape形状毫无疑问开销就会显得比较大，这样就有一个问题：怎么在使用loop进行识别(也就是对于每个人脸都丢进网络里，输入是1 x channel x high x width识别完一个再接着下一个)和batch方式(输入是batch_num x channel x high x width)之间进行权衡？我觉得一方面要考虑使用的网络在使用batch时到底能提升多大，一方面也需要考虑MXPredReshape本身的开销，比如我们可以设置一个batch数的阈值，当大于这个值的时候进行MXPredReshape，否则直接循环进行预测。