关于使用gpu解码图片的一些想法

最近在使用gpu解码数据,数据是base64编码的图片,或者是二进制编码的图片

以前都是使用cpu进行解码,也导致cpu使用率比较高

使用gpu解码以后存在的问题就是:以yolov5为例,使用pgu解码以后,解码线程为4,显存增加了800M,这也太多了,也导致我一张显卡可以开的实例数变少了,整体单卡速度反而下降了,

而且使用gpu解码以后,后面环节的优化没有跟上,导致整体流程变成了:接收数据到cpu上-cpu拷贝到gpu上-gpu解码-解码数据拷贝到cpu上-cpu预处理resize等操作-拷贝到gpu上-推理-后处理,整个过程多了两次数据拷贝,整体耗时就拉跨了,毕竟数据拷贝是最耗时的。后面应该优化把解码后的环节全部放到gpu上操作,这样才能真正提高速度。

posted @ 2023-01-11 19:05  海_纳百川  阅读(159)  评论(0编辑  收藏  举报
本站总访问量