TDA4VM-SK配置与应用杂谈
TDA4VM-SK配置与应用杂谈
硬件信息：SK-TDA4VM 用户指南
处理器SDK Linux边缘AI文档
配置文档：SK-TDA4VM处理器SDK Linux文档-getting_started，详细说明了如何配置，下面是简要步骤：
物料准备： SK板，microUSB串口线，USB camera，HDMI/DP显示器，≥16GB的内存卡，网线和局域网*，串口电源（5-20V DC ≥20w），散热风扇
1）通过USB挂载SD卡到Ubuntu（在虚拟机设置里）
2）下载SD card .wic image，使用Balena etcher tool 1.7.0 把图像闪存到SD卡上
3）然后插入SD卡到SK板，拨码开关拨到数字端，系统从SD卡启动
4）SK板连接显示器，上电，进入界面。
5）连接串口线，在虚拟机设置中挂载USB串口，使用 minicom 串口通讯：
sudo apt-get install minicom #安装minicom(在minicom中自动换行：Ctrl+A Z W)
sudo minicom -D /dev/ttyUSB2 -c on
#输入用户名：root，登录tda4vm-sk
#若连接了USB摄像头此时会显示端口信息，也可以运行 ./init_script.sh 查摄像头端口号：/dev/video2
连接显示器后（HDMI/DP），可以鼠标点击试运行开箱即用的 GUI 应用程序，也可使用 Python 和C++参考示例开发边缘 AI 应用程序：
#配置
cd /opt/edgeai-gst-apps/configs/ #app_config_template.yaml中有参数介绍
vi image_classification.yaml #flow参数配置为摄像头输入input0
#运行实例，替换为configs下其他文件能执行不同任务，如object_detection.yaml
#Classification (python)
cd /opt/edgeai-gst-apps/apps_python
./app_edgeai.py ../configs/image_classification.yaml #ctrl+c退出
#Classification (c++)
cd /opt/edgeai-gst-apps/apps_cpp
./bin/Release/app_edgeai ../configs/image_classification.yaml
#视频流车辆检测
cd /opt/edgeai-gst-apps/scripts/optiflow
`./optiflow.py ../../configs/object_detection.yaml -t` #如果没有单引号，终端会将 -t 选项解释为一个单独的参数，而不是作为 optiflow.py 命令的选项之一
#多flows
flows:
# flowname : [input,mode1,output,[mosaic_pos_x,mosaic_pos_y,width,height]]
flow0: [input0,model1,output0,[160,90,800,450]]
flow1: [input0,model2,output0,[960,90,800,450]]
flow2: [input1,model0,output0,[160,540,800,450]]
flow3: [input1,model3,output0,[960,540,800,450]]
如果运行过程中突然重启，一般是需要加个风扇增强散热。
可选操作：连接网线，ifconfig查询板子ip地址，后面即可使用ssh登陆，可以使用vscode的remote插件来直接ssh登陆到板子，然后可以很方便地修改配置文件; 安装tensorflow，onnx，python和c++依赖库 /opt/edge_ai_apps#./setup_script.sh
Dataflows
GStreamer输入管道：
v4l2src device=/dev/video18 io-mode=2 ! image/jpeg, width=1280, height=720 ! jpegdec ! tiovxdlcolorconvert ! video/x-raw, format=NV12 ! tiovxmultiscaler name=split_01
split_01. ! queue ! video/x-raw, width=320, height=320 ! tiovxdlpreproc data-type=10 channel-order=1 mean-0=128.000000 mean-1=128.000000 mean-2=128.000000 scale-0=0.007812 scale-1=0.007812 scale-2=0.007812 tensor-format=rgb out-pool-size=4 ! application/x-tensor-tiovx ! appsink name=pre_0 max-buffers=2 drop=true
split_01. ! queue ! video/x-raw, width=1280, height=720 ! tiovxdlcolorconvert out-pool-size=4 ! video/x-raw, format=RGB ! appsink name=sen_0 max-buffers=2 drop=true
GStreamer output pipeline:
appsrc format=GST_FORMAT_TIME is-live=true block=true do-timestamp=true name=post_0 ! tiovxdlcolorconvert ! video/x-raw,format=NV12, width=1280, height=720 ! queue ! mosaic_0.sink_0
appsrc format=GST_FORMAT_TIME block=true num-buffers=1 name=background_0 ! tiovxdlcolorconvert ! video/x-raw,format=NV12, width=1920, height=1080 ! queue ! mosaic_0.background
tiovxmosaic name=mosaic_0
sink_0::startx="<320>" sink_0::starty="<180>" sink_0::widths="<1280>" sink_0::heights="<720>"
! video/x-raw,format=NV12, width=1920, height=1080 ! kmssink sync=false driver-name=tidss
边缘AI应用程序堆栈
RTOS SDK中内置TIDL_Importer，可以直接使用, 实现Demo模型转换和运行
Demo教程：MobileNetV2 Tensorflow，PeleeNet Caffe，JSegNet21V2 Caffe model，下面以PeleeNet为例
Config TIDL_Importer
export TIDL_INSTALL_PATH=/home/wyj/SDK/ti-processor-sdk-rtos-j721e-evm-08_06_01_03/tidl_j721e_08_06_00_10
#配置永久环境变量更方便，sudo gedit /etc/profile，末尾加入如上代码，然后source /etc/profile加载立即生效，但是后续有变动要记得改
#optional：tidlModelGraphviz tool 模型可视化工具
sudo apt install graphviz-dev
export TIDL_GRAPHVIZ_PATH=/usr
cd ${TIDL_INSTALL_PATH}/ti_dl/utils/tidlModelGraphviz
make
导入PeleeNet模型进行目标检测（caffe）
下载并提取.caffemodel，deploy.prototxt放入ti_dl/test/testvecs/models/public/caffe/peele/pelee_voc/
deploy.prototxt中改confidence_threshold: 0.4
cd ${TIDL_INSTALL_PATH}/ti_dl/utils/tidlModelImport
./out/tidl_model_import.out ${TIDL_INSTALL_PATH}/ti_dl/test/testvecs/config/import/public/caffe/tidl_import_peeleNet.txt
#${TIDL_INSTALL_PATH}/ti_dl/test/下面的配置文件在RTOSsdk8.6中找不到，要从SDK8.5复制。
#成功分配内存
# 用于推理的已编译网络和I/O.bin文件
#在ti_dl/test/testvecs/config/tidl_models/caffe/tidl_net_peele_300.bin中已编译的网络文件
# 在ti_dl/test/testvecs/config/tidl_models/caffe/tidl_io_peele_300_1.bin中已编译的I/O文件
# 在 ti_dl/utils/perfsim/tidl_import_peeleNet.txt/tidl_import_peeleNet...csv中网络分析的性能仿真结果
#若是tensorflow例程，.pb需要先运行tensorflow的.local/lib/python3.6/site-packages/tensorflow/python/tools/optimize_for_inference.py工具进行模型推理优化，再导入。
运行PeleeNet进行目标检测
#在文件ti_dl/test/testvecs/config/config_list.txt顶部加入:
1 testvecs/config/infer/public/caffe/tidl_infer_pelee.txt
0
#运行，结果在ti_dl/test/testvecs/output/
cd ${TIDL_INSTALL_PATH}/ti_dl/test
./PC_dsp_test_dl_algo.out
#若标注框大小不匹配，需要改deploy.prototxt文件顶部：dim: 512 dim: 1024
测试使用ti_dl/test/testvecs/input/ti_lindau_I00000.bmp作为语义分割的输入图像。
测试打印PC模拟所花费的时间，并将生成的后处理输出图像存储在ti_dl/test/testvecs/output/jsegNet1024x512.bin_ti_lindau_I00000.bmp 000000_tidl_post_proc3.png中，该图像显示为检测到的对象生成的分割掩码。
picture 1
EdgeAI TIDL工具是TI提供的深度学习开发工具，后续会多次用到。
要求：OS——Ubuntu 18.04，Python版本——3.6
图 9
1）OSRT(开源运行时：TFLite、ONNX、TVM) 作为用户应用程序的顶级推理 API
2）将子图卸载到 C7x/MMA 以使用TIDL进行加速执行
3）在 ARM 核心上运行优化代码，以支持 TIDL 不支持的层（支持情况）
sudo apt-get install libyaml-cpp-dev
git clone https://github.com/TexasInstruments/edgeai-tidl-tools.git #failed：手动安装证书 git config --global http.sslVerify false，export GIT_SSL_NO_VERIFY=1
cd edgeai-tidl-tools
git checkout 08_06_00_05
export SOC=am68pa
source ./setup.sh
#Docker Based X86_PC Setup 跳过，不用docker装
#配置变量
export SOC=am68pa
export TIDL_TOOLS_PATH=$(pwd)/tidl_tools
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TIDL_TOOLS_PATH
export ARM64_GCC_PATH=$(pwd)/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu
#配置永久环境变量更方便，sudo gedit /etc/profile，末尾加入如上代码，然后source /etc/profile加载立即生效
source ./scripts/run_python_examples.sh #编译运行
python3 ./scripts/gen_test_report.py #评估
#Compile and Validate on X86_PC for cpp_example
mkdir build && cd build
cmake ../examples && make -j && cd ..
TI官方提供的云端环境，集成了一系列工具,无需本地搭环境，使用需要申请，提供两个工具：
1）模型编辑器：为 TI 嵌入式处理器训练、优化和编译 AI 模型。支持数据采集，标注，模型训练，以及上板编译，一步到位。目前仅支持分类和检测任务，只能使用modelzoo中的模型进行训练，比如OD任务只有yolox模型，灵活度不高，主打方便快捷。
2）模型分析器：远程连接到真实的评估硬件，基于jupyter笔记本，在 TI 嵌入式处理器上部署和测试 AI 模型性能，进行多个模型的Benchmark。前身叫做 TI边缘AI 云。
模型解析器
选TDA4VM设备，能使用3h，文件在顶端My Workspace; 进入后分两大板块:
找到模型: 比较模型性能, 能查看不同模型在板端的表现，用来选择适合自己需求的模型；
参考文献链接
https://www.ti.com.cn/zh-cn/video/6301563648001
https://software-dl.ti.com/jacinto7/esd/processor-sdk-linux-edgeai/TDA4VM/08_06_01/exports/docs/devices/TDA4VM/linux/release_notes_08_05.html
人工智能芯片与自动驾驶
