任务分配

任务分配

参考项目

• rknn-tookit2 : https://github.com/airockchip/rknn-toolkit2

  类似于onnx的推理加速库，需要将深度学习模型从.pt转换成.onnx然后在利用这个库转换成.rknn格式，之后再进行模型的部署和后处理等操作

• rknn_model_zoo : https://github.com/airockchip/rknn_model_zoo/tree/main

  rknn模型合集。其中几乎包含所有本项目中将使用到的模型预训练权重

方案流程

任务

1. Yolov5目标检测模型数据采集+训练

   需要采集：室内场景10+物体、两只手、人脸

   数据采集：

   1. 桌子（table）
   2. 椅子（chair）
   3. 床（bed）
   4. 盆栽（potted plant）
   5. 沙发（sofa）
   6. 橱柜（cabinet）
   7. 空调（air conditioner)
   8. 电脑（laptop）
   9. 瓶子（bottle）
   10. 鼠标（mouse）
   11. 书（book）
   12. 茶杯（cup）
   13. 电视（tv）
   14. 手机（cell phone）
   15. 键盘（keyboard）
   16. 垃圾桶（can）
   17. 电源插座（power outlet）
   18. 相框（frame）
   19. 人手（hand）
   20. 人脸（face）

   注：官方提供的yolov5模型输出结构上进行了修改，因此将训练好的模型权重导出后需要做相应的调整，可以参考：https://github.com/airockchip/rknn_model_zoo/tree/main/examples/yolov5

   训练完成后转换成.rknn的模型，然后基于C++/Java进行编写后处理操作，并封装接口

   有现成，可以参考：https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2/examples/rknn_yolov5_android_apk_demo

2. 完成PaddleOcr的移植

   PaddleOcr为三阶段文字识别算法：首先是图片输入文字检测模型，输出文字区域mask，然后将裁剪后的文字图片分别输入角度预测模型预测文字倾斜角度，矫正之后输入到文字识别模型输出识别文字

   需要将三个模型都转换成.rknn格式，然后基于C++/Java实现每个模型的后处理操作，并封装接口

   无现成，但可以参考：

   https://blog.csdn.net/qq_39056987/article/details/123574943

   https://github.com/yinghanguan/PaddleOCR2RKNN

   https://github.com/airockchip/rknn_model_zoo/tree/main/examples/PPOCR/PPOCR-System

3. 人脸表情分类

   基于resnet50-v2-7训练人脸表情分类模型

   模型预训练权重：https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/ResNet/resnet50-v2-7.onnx

   数据集：https://www.kaggle.com/code/alpertemel/fer2013-with-keras

4. 讯飞离线命令词识别、离线语音合成Android SDK集成

5. 功能整合