摘要: 深度学习领域常用的基于CPU/GPU的推理方式有OpenCV DNN、ONNXRuntime、TensorRT以及OpenVINO。这几种方式的推理过程可以统一用下图来概述。整体可分为模型初始化部分和推理部分,后者包括步骤2-5。 以GoogLeNet模型为例,测得几种推理方式在推理部分的耗时如下: 阅读全文
posted @ 2023-05-26 23:13 最菜程序员Sxx 阅读(1597) 评论(0) 推荐(1) 编辑