(2022.05.25更新)实现TensorRT加速Pytorch模型的过程(Yolov5为例)
一、环境：
系统：ubuntu20.04
显卡：GeForce TiTan 1080Ti
显卡驱动：470以上
CUDA与CUDNN版本：cuda10.2.89, cudnn8.1
TensorRT版本：8.0.0.3
Cmake版本：3.23
Gcc & G++版本：9
Opencv版本：4.5.3
二、安装过程（以Yolov5为例）
1、首先安装TensorRT
参考：https://zhuanlan.zhihu.com/p/344810135
下载该链接下的TensorRT，对应cuda版本（https://link.zhihu.com/?target=https%3A//developer.nvidia.com/nvidia-tensorrt-download）
在.bashrc文件中添加以下内容：
export TRT_PATH=/your/path/to/TensorRT-8.0.0.3
export PATH=$PATH:$TRT_PATH/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TRT_PATH/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TRT_PATH/targets/x86_64-linux-gnu/lib
注意点：如果在安装后import tensorrt出现ImportError: libxxx.so.10.2: cannot open shared object file: No such file or directory，原因是TensorRT的链接库路径丢失，利用ldconfig检查，并且利用sudo ln -s xxxxxxxxxxxxxxxxx.so.10.2 xxxxxxxxxxxxx.so，建立软链接
其余注意点有，cuda版本至少10.0以上，cudnn版本根据tensorrt的版本选择，并且显卡驱动的版本支持当前的cuda等环境的要求。
2、安装转化的源代码(https://github.com/enazoe/yolo-tensorrt)
(1) 建立一个文件夹：mkdir yolo_tensorrt_test
(2) 进入文件夹后
git clone https://github.com/ultralytics/yolov5.git
git clone https://github.com/enazoe/yolo-tensorrt.git
(3) yaml2cfg.py将脚本复制到yolov5根目录，并生成cfg和weigths文件
cp yolo-tensorrt/scripts/yaml2cfg.py yolov5/
cd yolov5
python yaml2cfg.py
cd ..
mv yolov5/models/yolov5s.cfg yolo-tensorrt/configs/yolov5-4.0
mv yolov5/weights/yolov5s.weights yolo-tensorrt/configs/yolov5-4.0
(4) 进入yolo-tensorrt文件夹
首先更改Cmakelists.txt文件（很重要！很重要！很重要！）
在#detector lib (cuda)之前，添加代码
include_directories(/home/qsm16/TensorRT-8.0.0.3/include/)
link_directories(/home/qsm16/TensorRT-8.0.0.3/lib/)
link_libraries(nvinfer nvinfer_plugin nvparsers nvonnxparser)
（并且在build前，应当保证gcc与g++的版本要求）
然后编译源码
mkdir build && cd build
cmake ..
make
./yolo_trt
完成安装！
上述过程亲测有效，另外有其他问题欢迎一起探讨，并且该版本代码为c++，另有python版本的实现，因为有完整的过程我仅将github链接放在这里供大家参考
