嵌入式下的深度学习 Sparkfun Edge with TensorFlow（一）Hello World

嵌入式下的深度学习 Sparkfun Edge with TensorFlow（一）Hello World

硬件、软件环境

微控制器：Sparkfun Edge

• 32位ARM Cortex-M4F处理器
• 48MHz CPU时钟，带有TurboSPOT™的96MHz
• 极低功耗：6uA / MHz
• 1MB Flash
• 384KB SRAM
• 两个麦克风，一个三轴加速度计和一个摄像头连接器

烧写器：SparkFun Serial Basic Breakout - CH340C 和一根USB Type-C连接线。

系统环境：Ubuntu 18.04 64位。

在MCU上实现深度学习，在TensorFlow  Lite被推出后成为可能。

微控上的TensorFlow： https://www.tensorflow.org/lite/microcontrollers

其中SparkFun Edge是TensorFlow Lite for Microcontroller的推荐硬件之一。

 

参考资料

TinyML - Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers - Pete Warden，按照TensorFlow  Lite的约束搭建网络，模型到C语言数组的转换，再到二进制文件到微控制器的烧写，这本书讲的很详细。但其中仍有很多细节没有交代，导致可能出现很多问题。查了几天资料，谷歌都快翻烂了，终于跑通了例子。

TinyML链接：https://pan.baidu.com/s/1G_WB7QhnxcZJxpKpK_NBSA
提取码：mgj1

 

使用深度学习拟合正弦函数的例子

在书中已经很详细的介绍了如何搭建网络去实现正弦函数的模型，在此不赘述，仅记录下烧写的必要流程和一些坑。

 下载源码

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

编译

在拉下的repo中已经有了书中的源码，所以可以直接编译。

# 编译在板子上运行的二进制文件
make -f tensorflow/lite/micro/tools/make/Makefile TARGET=sparkfun_edge hello_world_bin

在这里就有问题了。make的过程中会连续下载几个包，由于服务器在国外，国内的速度特别慢，一旦中途因网络超时下载失败就需重新make，但第二次make时不会重新下载或断点下载上一次下载失败的包，缺包编译就会失败。这时在第二次make前在 tensorflow/lite/micro/tools/make/downloads 里删除刚才下载失败的目录，第二次make就会重新下载。

如果几次后还是不行成功编译，只能重新删除整个tensorflow的repo，再重新刚才的流程。

可以让ubuntu终端走国外代理完成这几个包的下载。

Linux 让终端走代理的几种方法 https://zhuanlan.zhihu.com/p/46973701

Linux终端代理方式  https://www.cnblogs.com/hi-eric/p/11563245.html

签名和生成二进制文件

# 签名
python3 tensorflow/lite/micro/tools/make/downloads/AmbiqSuite-Rel2.2.0/tools/apollo3_scripts/create_cust_image_blob.py --bin tensorflow/lite/micro/tools/make/gen/sparkfun_edge_cortex-m4/bin/micro_speech.bin --load-address 0xC000 --magic-num 0xCB -o main_nonsecure_ota --version 0x0

# 生成真正在板子上运行的二进制文件
python3 tensorflow/lite/micro/tools/make/downloads/AmbiqSuite-Rel2.2.0/tools/apollo3_scripts/create_cust_wireupdate_blob.py --load-address 0x20000 --bin main_nonsecure_ota.bin -i 6 -o main_nonsecure_wire --options 0x1

 最后生成的main_nonsecure_wire.bin才是真正要烧进去的文件。

烧写

# 波特率
export BAUD_RATE=921600
# 设备号
export DEVICENAME="/dev/ttyUSB0"
# 烧写
python3 tensorflow/lite/micro/tools/make/downloads/AmbiqSuite-Rel2.2.0/tools/apollo3_scripts/uart_wired_update.py -b ${BAUD_RATE} ${DEVICENAME} -r 1 -f main_nonsecure_wire.bin -i 6

烧写前，必须先按住bootloader键(14键)，按住14键的同时，按一下reset键，此时仍然按住14键不松，然后才能执行Python的烧写命令，同时，不要忘了sudo chmod 666 /dev/ttyUSB0，以给其足够的权限。

烧写器用的是沁恒的CH34x，Ubuntu的默认CH340驱动是有问题的，有可能烧不进去。解决办法：重新编译CH34x驱动并加载驱动。

$ git clone https://github.com/juliagoda/CH341SER.git
$ cd CH341SER/
$ make
$ sudo insmod ch34x.ko
$ sudo rmmod ch341

但是这是动态加载驱动的方式，所以每一次重启后，再运行最后两句重新加载驱动。

使用Arduino IDE在SparkFun Edge上编写代码

大家如果搞过Arduino，一定不会忘了在Arduino IDE上编程是多么的简洁，自带串口监视器，工程结构、代码逻辑也一目了然。社区同样提供了有关Arduino IDE的教程，但还是有许多细节不明确。

参考教程：

https://github.com/sparkfun/Tensorflow_AIOT2019

https://learn.sparkfun.com/tutorials/programming-the-sparkfun-edge-with-arduino 

https://forum.sparkfun.com/viewtopic.php?f=153&t=51754&p=211147&hilit=sparkfun+edge+arduino#p211147

https://forum.sparkfun.com/viewtopic.php?f=153&t=52041&p=211817&hilit=sparkfun+edge+arduino#p211817

这里用的是Arduino1.8.12

首先是在开发板管理器里添加 SparkFun Edge时，会下载Arduino_Apollo3-1.0.30_ble-beta.tar.gz和gcc-arm-none-eabi-8-2018-q4-major-linux.tar.bz2两个包，同样是因为国内网络问题，几乎不可能下载成功，所以可以使用离线的方式先下载这两个包。

 Arduino IDE开发板管理器更新失败的离线解决方案：https://www.arduino.cn/thread-92660-1-1.html

如果是在Ubuntu下，两个包的目录就是~/.arduino15/staging/packages

这里使用如下的项目测试：

https://github.com/sparkfun/Tensorflow_AIOT2019

同样，在Arduino IDE里上传程序仍然可能有各种各样的问题，经过一天摸索，得出真正的流程如下：

• 选择 SparkFun Edge开发板(工具->开发板->SparkFun Edge)
• 选择端口，这里是/dev/ttyUSB0
• 在烧写程序前先烧写SVL引导
  • 工具 -> Ambiq Secure Bootloader Baud Rate -> 961200
  • 工具 -> 编程器 -> Ambiq Secure Bootloader
  • 按住14不松 -> 按一下reset松开(14不松) -> 烧录引导程序
• 工具 -> Bootloader -> Ambiq Secure Bootloader
• 工具 -> SVL Baud Rate -> 460800
• 按住14不松 -> 按一下reset松开(14不松) -> 上传。注意，在这一步，一旦出现Connecting over serial port /dev/ttyUSB0...须立即松开14键。这和上述社区的教程并不太一样，按了一下午才试出来的结果。

 

好了，至此，已经可以通过官方的开发方式或Arduino IDE的开发方式写工程了。