嵌入式运用的思路
嵌入式运用的思路
加快神经网络模型在硬件计算平台的计算速度主要有:
修改神经网络模型
- 降低权重精度
- 通过权重剪枝
加快框架的执行时间
- 优化矩阵之间的乘法(GEMM)类的通用计算 如NNPACK
- 将网络模型和权重配置转换成针对目标平台的代码,并对代码进行优化,如TensorRT,CaffePresso
网络模型参数剪枝的文章:
Sqeezenet 是一种参数压缩的方式, 模型小了很多, 但是计算没有减少太多.
paper: http://arxiv.org/abs/1602.07360
github: https://github.com/DeepScale/SqueezeNet