安装部署NVIDIA TensorRT
下载文件
https://developer.nvidia.com/nvidia-tensorrt-download
用tensorrt-5 为例
下载对应的tar包即可
解压包
tar xzvf TensorRT-5.1.5.0.Ubuntu-18.04.2.x86_64-gnu.cuda-10.1.cudnn7.5.tar.gz
配置环境变量
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/TensorRT-5.1.5.0/lib
装TensorRT
cd /root/TensorRT-5.1.5.0
选择对应版本的python安装
pip install python/tensorrt-5.1.5.0-cp36-none-linux_x86_64.whl
# 安装UFF,支持tensorflow模型转化 。按需装即可
pip install uff/uff-0.6.3-py2.py3-none-any.whl
安装graphsurgeon,支持自定义结构
pip install graphsurgeon/graphsurgeon-0.4.1-py2.py3-none-any.whl
复制rt的头文件和库文件到系统,有些软件会依赖这些
sudo cp -r ./lib/* /usr/lib
sudo cp -r ./include/* /usr/include
编译测试文件
(openpose) root@ai:~/TensorRT-5.1.5.0# cd samples/
(openpose) root@ai:~/TensorRT-5.1.5.0/samples# make
(openpose) root@ai:~/TensorRT-5.1.5.0/bin# ./sample_int8 mnist
python导入测试即可
python -c "import tensorrt"