[Paddle OCR] Deploy on Jetson

一些基础概念

• Paddle Serving 、Paddle Inference、PaddleHub Serving三者的区别是什么？有什么样的包含关系？

paddle serving是远程服务，即发起预测的设备（手机、浏览器、客户端等）与实际预测的硬件不在一起。paddle inference是一个library，适合嵌入到一个大系统中保证预测效率，paddle serving调用了paddle inference做远程服务。paddlehub serving可以认为是一个demo，后面都会使用paddle serving作为统一预测服务入口。如果在web端交互，一般是调用远程服务的形式，可以使用paddle serving的web service搭建。

*** paddle serving调用了paddle inference做远程服务。

*** serving和inference交互通过百度的RPC框架。

 

 

• Paddle Inference震撼升级！全方位适配、高性能推理，打通AI应用的最后一公里

From 飞桨PaddlePaddle官方csdn博客

什么是Paddle Inference原生高性能推理库? 跟主框架的API如model.predict()等接口又是什么关系呢？哪个更原生些?

*** 在这边给大家快速地科普一下：主框架的前向API接口model.predict() 是基于主框架的前向算子进行封装，且直接调用训练好的模型之前向参数，能够快速测试训练完成的模型效果，并将计算后的预测结果返回呈现，通常是用在验证训练成果及做实验时使用。

*** 而一般的企业级部署通常会追求更极致的部署性能，且希望能够在生产环境安装一个不包含后向算子，比主框架更轻量的预测库，Paddle Inference应运而生。Paddle Inference提取了主框架的前向算子，可以无缝支持所有主框架训练好的模型，且通过内存复用、算子融合等大量优化手段，并整合了主流的硬件加速库如Intel的oneDNN、NVIDIA的TensorRT等, 提供用户最极致的部署性能。此外还封装C/C++的预测接口，使生产环境更便利多样。

 

 

• 从0到1教你在Jetson Xavier NX玩转PaddlePaddle!

已经，Paddle2.0时代，优先高版本。

Ref: https://www.paddlepaddle.org.cn/documentation/docs/zh/install/Tables.html#whl-release

jetpack4.4-cuda10.2-cudnn8-trt7.1.3

paddlepaddle_gpu-2.1.1-cp36-cp36m-linux_aarch64.whl

-

paddlepaddle_gpu-2.1.1-cp38-cp38-linux_aarch64.whl

 

 

 

具体实践

PaddleOCR: 车牌识别

Ref: 如何在Jetson上安装scikit-image

Ref: PaddleInference：Jetson平台部署车牌实时检测识别系统

 

PaddleOCR相当于OpenCV里的Sample文件夹。

环境配置好后，使用其中的sample代码去测试gpu版本的代码。