随笔分类 - 边缘部署
摘要:TensorRT 部署案例,四部曲 将预训练的pytorch模型转为.onnx模型 解析onnx到tensorRT network对象 onnx parser 对其优化并生成TensorRT推理引擎(根据输入模型、目标 GPU 平台和其他指定的配置参数) builder 在GPU上实施推理Perfo
阅读全文
摘要:组件的数学层面python实现 各种网络和方向的再理解 移动端和GPU端的加速推理
阅读全文
摘要:运行本质上通用芯片和嵌入式芯片没有区别,嵌入式芯片可以看成是通用芯片的细分,是通用芯片的裁剪。 通用芯片领域:ARM和intel垄断(架构设计+生产) 其他的如高通、三星、AMD、NVIDIA、苹果、联发科、华为海思等等都是二次开发或生产,没有架构设计能力(这里可见,ARM在AMD的上游) 嵌入式芯
阅读全文
摘要:https://github.com/wkentaro/labelme/releases 下载源码 Setup conda conda create -n labelme python=3.7 conda activate labelme 进入labelme目录 cd C:\labelme-4.5.
阅读全文
摘要:深度学习框架直接得到的模型太重,在移动端及CPU上直接部署不合适,因此将训练出的模型通过推理框架部署. 推理框架包括:模型优化器和推理引擎两部分. 推理框架选择: 带GPU的桌面系统,用TensorRt. nvidia自家的,还有量化 手机上选择,Tvm ,ncnn等arm opencl的优化成果。
阅读全文
摘要:某些应用场景要求低延时,高安全性及考虑长期成本效益,此时将模型托管在云端就不再是最好的解决方案。 边缘计算相比云计算的优势 带宽和时延 显然调用云端服务会有一个信息往返的时间花费。 比如自动驾驶,大的延时可能会引发事故,因为一个突然出现的目标可能仅仅在几帧的时间内。 因此英伟达提供定制化的板载计算设
阅读全文