关于使用gpu解码图片的一些想法
最近在使用gpu解码数据,数据是base64编码的图片,或者是二进制编码的图片
以前都是使用cpu进行解码,也导致cpu使用率比较高
使用gpu解码以后存在的问题就是:以yolov5为例,使用pgu解码以后,解码线程为4,显存增加了800M,这也太多了,也导致我一张显卡可以开的实例数变少了,整体单卡速度反而下降了,
而且使用gpu解码以后,后面环节的优化没有跟上,导致整体流程变成了:接收数据到cpu上-cpu拷贝到gpu上-gpu解码-解码数据拷贝到cpu上-cpu预处理resize等操作-拷贝到gpu上-推理-后处理,整个过程多了两次数据拷贝,整体耗时就拉跨了,毕竟数据拷贝是最耗时的。后面应该优化把解码后的环节全部放到gpu上操作,这样才能真正提高速度。
本文来自博客园,作者:海_纳百川,转载请注明原文链接:https://www.cnblogs.com/chentiao/p/17044687.html,如有侵权联系删除
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 提示词工程——AI应用必不可少的技术