会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
LyleChen
博客园
首页
新随笔
联系
订阅
管理
2022年4月6日
利用 onnxruntime 库同时推理多个模型的效率研究
摘要: 1. 背景 需求:针对视频形式的数据输入,对每一帧图像,有多个神经网络模型需要进行推理并获得预测结果。如何让整个推理过程更加高效,尝试了几种不同的方案。 硬件:单显卡主机。 2. 方案 由于存在多个模型需要推理,但模型之间没有相互依赖关系,因此很容易想到通过并行的方式来提高运行效率。 对比了如下几种
阅读全文
posted @ 2022-04-06 15:07 LyleChen
阅读(4164)
评论(0)
推荐(0)
编辑
公告