深度学习推理加速TensorRT简介
一、概括
TensorRT作为英伟达深度学习系列SDK的一部分,是一个高性能(HP)的深度学习推理优化器,可以为深度学习应用提供一个低延迟、高吞吐量的推理部署。基于TensorRT的应用推理性能上是只用CPU时的40多倍(版本TensorRT 7.0)。使用TensorRT,你可以优化现在几乎所有主流深度学习框架(tensorflow、caffe、pytorch、mxnet等)。TensorRT建立在NVIDIA的并行编程模型CUDA的基础上,使你能够利用CUDA-X中的库、开发工具和技术,为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。为减少应用程序的延迟,TensorRT提供低精度INT8和FP16的部署。
二、优化机理
1、权重、激活精度校准:通过将模型量化为INT8,同时保持准确性,最大化吞吐量
2、层、张量融合:通过融合内核中的节点优化GPU内存和带宽的使用
3、内核自动调整:基于目标GPU平台选择最佳数据层和算法
4、动态张量内存:最小化内存占用并有效地重新使用张量的内存
5、多流执行:并行处理多个输入流的可扩展设计
三、基于tensorflow的推理优化方式
TensorRT优化的模型必须是训练好的,比如用TF框架训练
1、使用tensorflow内置的TensorRT
参考 https://github.com/tensorflow/tensorrt
2、将计算图转换为UFF格式(网络层的定义、权重、偏差等数据)
参考 https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#working_tf
四、安装
参考 https://arleyzhang.github.io/articles/7f4b25ce/