关于使用gpu解码图片的一些想法

最近在使用gpu解码数据,数据是base64编码的图片,或者是二进制编码的图片

以前都是使用cpu进行解码,也导致cpu使用率比较高

使用gpu解码以后存在的问题就是:以yolov5为例,使用pgu解码以后,解码线程为4,显存增加了800M,这也太多了,也导致我一张显卡可以开的实例数变少了,整体单卡速度反而下降了,

而且使用gpu解码以后,后面环节的优化没有跟上,导致整体流程变成了:接收数据到cpu上-cpu拷贝到gpu上-gpu解码-解码数据拷贝到cpu上-cpu预处理resize等操作-拷贝到gpu上-推理-后处理,整个过程多了两次数据拷贝,整体耗时就拉跨了,毕竟数据拷贝是最耗时的。后面应该优化把解码后的环节全部放到gpu上操作,这样才能真正提高速度。

posted @   海_纳百川  阅读(212)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 提示词工程——AI应用必不可少的技术
本站总访问量8985360
 
点击右上角即可分享
微信分享提示