随笔分类 -  边缘部署

摘要:TensorRT 部署案例,四部曲 将预训练的pytorch模型转为.onnx模型 解析onnx到tensorRT network对象 onnx parser 对其优化并生成TensorRT推理引擎(根据输入模型、目标 GPU 平台和其他指定的配置参数) builder 在GPU上实施推理Perfo 阅读全文
posted @ 2021-02-07 16:13 Parallax 阅读(520) 评论(0) 推荐(0) 编辑
摘要:组件的数学层面python实现 各种网络和方向的再理解 移动端和GPU端的加速推理 阅读全文
posted @ 2021-02-06 09:31 Parallax 阅读(53) 评论(0) 推荐(0) 编辑
摘要:运行本质上通用芯片和嵌入式芯片没有区别,嵌入式芯片可以看成是通用芯片的细分,是通用芯片的裁剪。 通用芯片领域:ARM和intel垄断(架构设计+生产) 其他的如高通、三星、AMD、NVIDIA、苹果、联发科、华为海思等等都是二次开发或生产,没有架构设计能力(这里可见,ARM在AMD的上游) 嵌入式芯 阅读全文
posted @ 2021-02-05 13:59 Parallax 阅读(723) 评论(0) 推荐(0) 编辑
摘要:https://github.com/wkentaro/labelme/releases 下载源码 Setup conda conda create -n labelme python=3.7 conda activate labelme 进入labelme目录 cd C:\labelme-4.5. 阅读全文
posted @ 2020-11-09 18:50 Parallax 阅读(672) 评论(0) 推荐(0) 编辑
摘要:深度学习框架直接得到的模型太重,在移动端及CPU上直接部署不合适,因此将训练出的模型通过推理框架部署. 推理框架包括:模型优化器和推理引擎两部分. 推理框架选择: 带GPU的桌面系统,用TensorRt. nvidia自家的,还有量化 手机上选择,Tvm ,ncnn等arm opencl的优化成果。 阅读全文
posted @ 2020-11-04 20:01 Parallax 阅读(2945) 评论(0) 推荐(0) 编辑
摘要:某些应用场景要求低延时,高安全性及考虑长期成本效益,此时将模型托管在云端就不再是最好的解决方案。 边缘计算相比云计算的优势 带宽和时延 显然调用云端服务会有一个信息往返的时间花费。 比如自动驾驶,大的延时可能会引发事故,因为一个突然出现的目标可能仅仅在几帧的时间内。 因此英伟达提供定制化的板载计算设 阅读全文
posted @ 2020-07-29 16:56 Parallax 阅读(2185) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示