Nanodet模型部署(ncnn,openvino)/YOLOX部署(TensorRT)
Nanodet模型部署(ncnn,openvino)
- nanodet官方代码库nanodet
1. nanodet模型部署在openvino上
step1: 参考链接
step2: 步骤补充
- 以openvino官方文档为主要参考
- 进入openvino官方文档后点击[Install Package]
- 然后开始官方文档的step1进行选择下载形如[l_openvino_toolkit_p_2021.4.752.tgz]
- 选择Linux -> Online & Offline -> 2021 4.2 LTS -> offline (注意选择Version Type时候注意，如果是低点版本可能在Ubuntu20.04上安装protuf(好像是这个名字)会包g++不对) ->然后随便填邮箱，国家即可下载
- 后续对比上面三个官方文档(openvino官方文档为主)一步一步即可
- openvino将onnx转换成适合openvino的格式是nanodet.xml nanodet.bin nanodet.maping
step3: 使用CLion进行阅读调试代码(Debug)
- 先进入clion.sh位置(/home/zranguai/software/CLion-2021.3.2/clion-2021.3.2/bin) 然后sh clion.sh
- source /opt/intel/openvino_2021/bin/setupvars.sh
- 选择nanodet的demo_openvino项目
- 左上角Edit Configuration进行配置main.cpp的参数(例如Program arguments 3 0)进行Debug调试
2. nanodet模型部署在ncnn上
step1: 参考链接
step2: 步骤补充
- 以mmdeploy安装指南为主要参考
- 如果需要安装opencv可以参考opencv安装教程
- 或者上面openvino的GiantPandaCV里也有已经编译好的opencv
- 在编译好的ncnn里面运行onnx2ncnn产生.param 和 .bin(/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/tools下)
- 使用ncnnoptimize优化ncnn模型(/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/)
- ncnn将onnx转换成适合ncnn的格式是 nanodet.param nanodet.bin
step3: 使用CLion进行阅读调试代码(Debug)
- 先进入clion.sh位置(/home/zranguai/software/CLion-2021.3.2/clion-2021.3.2/bin) 然后sh clion.sh
- export VULKAN_SDK=(pwd)/1.2.176.1/x86_64 -->其中是mmdeploy官方文档安装vulkansdk的
- 例如 export VULKAN_SDK=/home/zranguai/C_C++_Code/C_C++_deploy/1.2.176.1/x86_64
- export ncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn
- 例如 export cnn_DIR=/home/zranguai/C_C++_Code/C_C++_deploy/ncnn/build/install/lib/cmake/ncnn
- 配置参数进行Debug阅读代码即可
YOLOX模型部署在TensorRT上
step1: 参考链接
step2步骤补充
- TensorRT安装时操作系统，cuda, cudnn需要对上
- 安装mmdeploy上将环境变量导入到~/.bashrc
- 在yolox是make遇到问题解决方案: (https://github.com/Megvii-BaseDetection/YOLOX/issues/768)
- 在yolox的CMakeLists.txt需要更改cuda,cudnn, TensorRT路径
- 转换成适合TensorRT的格式是model_trt.engine
使用CLion进行阅读调试代码(Debug)
- 这里因为之前将环境导入~/.bashrc，and yolox的CMakeLists.txt有路径所以直接打开即可
- 配置路径进行调试
- /home/zranguai/Cv-Code/detection/YOLOX-0.2.0/YOLOX_outputs/yolox_s/model_trt.engine -i /home/zranguai/Cv-Code/detection/YOLOX-0.2.0/assets/dog.jpg
