移动端深度学习推理框架总结

移动端深度学习推理框架

框架	公司	支持硬件	特性	相关资源
TensorFlow Lite	Google 2017	CPU GPU: android基于OpenGL, IOS基于Metal	app内核优化,pre-fused激活,更快更小模型定量化	https://tensorflow.google.cn/lite/performance/gpu_advanced?hl=zh-cn https://tensorflow.google.cn/lite/ https://github.com/amitshekhariitbhu/Android-TensorFlow-Lite-Example
Core ML	Apple 2017	IOS(Accelerate(CPU)/Metal(GPU))	Core ML 在设备端可以利用用户数据进行重新训练或优化。	https://developer.apple.com/documentation/coreml https://github.com/likedan/Awesome-CoreML-Models https://developer.apple.com/cn/documentation/coreml/#overview
Caffe2	Facebook 2017	IOS,Android CPU	GPU暂无资料，针对具有NEON指令的ARM CPU进行优化， 其性能超过iphone6的GPU优化的。	https://github.com/facebookarchive/caffe2  https://caffe2.ai/docs/zoo.html  https://github.com/caffe2/models
NCNN	Tencnet 2017	Android: CPU/GPU 32/ 64bit都支持 IOS: CPU 32/64bit GPU 64 bit	支持全平台，主要针对手机端进行极致的优化，无第三方依赖库，但算子支持相对较少。	https://github.com/Tencent/ncnn https://github.com/BUG1989/caffe-int8-convert-tools.git
Paddle-Mobile	Baidu  2017	Android: CPU GPU基于OpenCL	仅支持Android	https://github.com/PaddlePaddle/paddle-mobile https://github.com/PaddlePaddle/Paddle
QNNPACK/NNPACK (加速库)	Facebook	Android / IOS	主要针对卷积计算进行加速处理，armeabi-v7a需要CPU支持NEON指令,暂无GPU信息	https://github.com/pytorch/QNNPACK https://zhuanlan.zhihu.com/p/81026071 https://github.com/Maratyszcza/NNPACK
MACE	XIAOMI 2018	支持Android / IOS CPU，GPU	底层算子基于OpenCL实现	https://github.com/XiaoMi/mace https://github.com/XiaoMi/mace-models https://mace.readthedocs.io/en/latest/chinese.html
MNN	阿里 2019	Android / IOS (CPU / GPU)	通用性较好，算子支持性好	https://github.com/alibaba/MNN
TNN	Tencent   2020	Android / IOS (ARM CPU /GPU / NPU)	主要针对于移动端，基于NCNN开发，性能移动端略优于MNN。	https://github.com/Tencent/TNN
tengine	ARM中国	CPU/GPU/AIPU/DSP/FPGA	适配所有硬件	http://www.tengine.org.cn/ https://github.com/OAID/Tengine
computelibrary	ARM	CPU/GPU	基于OpenCL对Mail GPU加速，基于Neon的方式对A系列CPU进行加速	https://github.com/ARM-software/ComputeLibrary https://www.arm.com/why-arm/technologies/compute-library
D2GO	FACEBOOK		深度学习工具包包含检测，关键点预测，实例分割	https://github.com/facebookresearch/d2go https://ai.facebook.com/blog/d2go-brings-detectron2-to-mobile/