YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比

https://mp.weixin.qq.com/s/uRsYixCpIwY_7bKAIvnZOg

微信公众号:OpenCV学堂

关注获取更多计算机视觉与深度学习知识

引言

我把YOLOv5最新版本的模型分别用OpenCV DNN(Python、C++)部署、OpenVINO(Python、C++)部署、ONNXRUNTIME-GPU(Python、C++)部署,然后还测试了CPU/GPU不同平台上的运行速度比较。

软件版本与硬件规格

测试用的硬件与软件信息:

GPU 1050Ti
CPU i7八代
OS:Win10 64位
OpenVINO2021.4
ONNXRUNTIME:1.4
OpenCV4.5.4
Python3.6.5
YOLOv5 6.1

使用的YOLOv5模型中的yolov5s.pt模型,转换为ONNX模型之后输入格式为:

NCHW = 1x3x640x640

最终输出层名称:output,格式:

NHW = 1x25200x85

YOLOv5推理速度比较

基于同一段视频文件,Python/C++代码测试结果比较如下:

图片

说明:OpenCV DNN与OpenVINO是基于CPU测试的,ONNXRUNTIME是基于GPU版本测试的,ONNXRUNTIME的CPU版本我没有测试过。
贴几张运行时候的截图:

图片

图片

图片

图片

图片

图片

图片

代码实现与说明

ONNX代码实现部分主要是参考了YOLOv5官方给出几个链接:

https://github.com/microsoft/onnxruntime/issues/10323
https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html
https://github.com/microsoft/onnxruntime-inference-examples/blob/main/c_cxx/imagenet/main.cc

有一个特别坑的地方需要特别的注意:

ONNX C++的环境必须是全局变量,声明如下:

Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "YOLOv5");

只有所有的推理图象执行完成才可以调用release进行释放,否则就会一直卡死,程序崩溃!ONNX其它的部分的代码实现基本实现了跟DNN/OpenVINO推理后处理代码的完全复用!相关代码建议参考之前的两篇推文:

OpenCV4.5.x DNN + YOLOv5 C++推理

OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理

 

特别说明:怎么没有TensorRT/?主要是因为我电脑安装了CUDA10.1版本+TensorRT7.0的不兼容,我又不想再折腾重新安装CUDA10.0,所以暂无!等我新笔记本到货立刻补上这一缺失!

posted @   水木清扬  阅读(2542)  评论(1编辑  收藏  举报
相关博文:
阅读排行:
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
点击右上角即可分享
微信分享提示