Tensorflow ARM交叉编译错误集锦
版权声明：本文为博主（Jimchen）原创文章，未经博主允许不得转载。
ttps://www.cnblogs.com/jimchen1218/p/11611975.html
前言：
Tensorflow交叉编译的过程是一个心塞的过程，其中会出现各种各样的错误，个中滋味，只有经历过的人才能体会。
特意记录下所有碰到的问题，一来作为这段时间的一个小结，二来可以给他人提供些帮助。
先上一张图，主要是针对各软件包之间的版本对应性：
实测发现，当前Ｔｅｎｓｏｒｆｌｏｗ版本为１．１０．０，Ｂａｚｅｌ版本只能在０．１８．１～０．１９．２之间
正文：
现将已知问题列表如下，如碰到相同现象，可依此方法解决：
问题1：
错误现象：
编译过程中，提示exp("/home/jim/tf2arm/sysroots/x86_64-linux/arm-poky-linux-gnueabi-gcc") :no such file or directory
原因分析：
我在该目录下可以该目录，但是打开shell运行时，提示却一样：no such file or directory。（这个交叉编译SDK是从别人电脑（UBUNTU系统版本14.04）上拷贝过来了，在他的电脑上可以正常执行），原因可能是由于系统与平台的差异性，导致在一台电脑上可以正常执行，在另一台电脑上却无法执行。
百度查了各种方法：
1） chmod 777 -R sysroots 添加可执行权限，不行
2） sudo apt-get install lsb-core 添加对32位系统的兼容支持，不行
3） sudo apt-get install ia32-libs 添加对32位系统的兼容支持，不行
解决方法：
用别人生成的SDK不行，那个自己编译一个，方法可参考如下链接：手动编译用于i.MX6系列的交叉编译SDK
问题2：
错误现象：
拷贝新生成的两个可执行包到相应目录：
opt/sysroots/x86_64-pokysdk-linux/usr/bin/arm-poly-linux-gnueabi
opt/sysroots/x86_64-pokysdk-linux/usr/libexec/arm-poky-linux-gnueabi/gcc
再次编译bash build_arm_poky.sh
报错：error:target CPU does not support ARM mode
原因分析：
查看目标芯片参数：Cortex-M4对应ARMv7E-M，也就是-march=armv7-a ,-mtune=cortex-a9
如果使用--mcpu=cortex-m3选项时，需要与-mthumb选项搭配。未解决！
通过报错时的提示信息，发现：环境变量里有两条记录：-march=armv7-a和-march=armv7
解决方法：
执行脚本 :./configure
其它的选项都选No，-march选项使用armv7-a即可。
问题3：
错误现象：
BUILD：tensorflow/WORKSPACE:3:1:name 'http_archive' is not defined
原因分析：
怀疑是包不兼容导致，当前bazel 0.25.2,tensorflow 1.10
解决方法：
当前tensorflow 1.10最高只能支持Bazel0.19.2，所以，降Bazel版本到0.18.1
问题4：
问题现象：
arm-poky-linux-gnueabi/usr/include/gnu/stubs.h:7:29:fatal error: gnu/stubs-soft.h :No such file or directory
compilation terminated
原因分析：
在编译生成的包中未查找到该文件，但找到一个类似文件：stubs_hard.h，查看该文件内容，只是些宏定义。
解决方法：
直接复制文件stubs-hard.h,更名为为stubs-soft.h
根本原因：
在交叉编译包的ＣＲＯＳＳＴＯＯＬ文件中，缺少了两句话：
compiler_flag:"-mfloat-abi=hard"
compiler_flat:"-mfpu=vfpv3"
问题5：
问题现象：
extern/asm/nasm/error.c,找不到error.h
原因分析：
源代码查找error.h， 位于extern/asm/include，应该是编译路径包含不对导致。
解决方法：
1、 ll ~/.cache/bazel 列出bazel_jim(当前主目录)
2、 ll ~/.cache/bazel/bazel_jim 列出各文件夹，其中包含自动生成的随机文件夹，如果包含多个，可通过时间来判断。找到最新的即可。
3、本文中随机文件夹为：7924169126bef9c95805dc831e19e9c3，进入该文件夹下extern/nasm/：
直接复制到当前文件：cp include/error.h .
问题6：
问题现象1：
/home/jim/.cache/bazel/_bazel_jim/76ef6e7a149f324cd1b97025fe5e3e28/external/protobuf_archive/BUILD:645:1:undeclared inclusion(s) in rule '''@protobuf_archive??:python/google/protobuf/internal/_api_implementation.so’：
this rule is missing dependency declarations for the following files included by 'external/protobuf_archive/python/google/protobuf/internal/api_implementation.cc':
'usr/include/python2.7/Python.h'
...
'usr/include/python2.7/pyfpe.h'
原因分析：
编译当前文件时，找不到支持该文件编译的相应头文件；
解决方法：
在CROSSTOOL中添加
1. cxx_builtin_include_directory:"usr/include/python2.7"
问题现象2：
/home/lyra/.cache/bazel/_bazel_lyra/76ef6e7a149f324cd1b97025fe5e3e28/external/com_google_absl/absl/base/BUILD.bazel:115:1: undeclared inclusion(s) in rule '@com_google_absl//absl/base:base':
this rule is missing dependency declarations for the following files included by 'external/com_google_absl/absl/base/internal/cycleclock.cc':
'/usr/lib/gcc/x86_64-linux-gnu/5/include/stddef.h'
'/usr/lib/gcc/x86_64-linux-gnu/5/include-fixed/limits.h'
解决方法：
add path in arm_compiler/CROSSTOOL
cxx_builtin_include_directory:"usr/lib/gcc/x86_64-linux-gnu/5/include/stddef.h"
cxx_builtin_include_directory:"usr/lib/gcc/x86_64-linux-gnu/5/include_fixed/limits.h"
问题7：
问题现象：
tensorflow/python/lib/core/py_func.cc:355:39 :error: invalid conversion from 'const char*' to 'char*' [-fpermissive]
解决方法：
根据错误提示文件，找到对应错误处，在接口返回值处添加(char *)
此处问题较多，有7，8处，需修改多次。
问题8：
问题现象：
external/gif_archive/lib/egif_lib.c:62:6:error:'S_IREAD' undeclared(first use in this function)
external/gif_archive/lib/egif_lib.c:62:16:error:'S_IWRITE' undeclared(first use in this function)
原因分析：
错误原因可能是没有编译Android，因为在external/gif_archive下BUILD.bazel里有定义
解决方法：
方法1：
修改S_IREAD为S_IRUSR
修改S_IWRITE为S_IWUSR
方法2：
在gif_lib.h中定义
#define S_IREAD S_IRUSR
#define S_IWRITE S_IWUSR
问题9：
现象描述：
external/png_archive/pngpriv.h:911:4 :error:#error ZLIB_VERNUM!= PNG_ZLIB_VERNUM " -I (include path) error:see the notes in pngpriv.h
#error ZLIB_VERNUM != PNG_ZLIB_VERNUM
原因分析：
Zlib库与libpng版本号不一致
查看Zlib版本：
find /usr/ -name zlib.pc 搜索结果:/usr/lib/x86_64-linux-gnu/pkgconfig/zlib.pc
cat /usr/lib/x86_64-linux-gnu/pkgconfig/zlib.pc 版本信息会显示出来 当前版本是Version:1.2.8
查看libpng版本：
find /usr/ -name libpng （当前版本1.2）
与Zlib:1.2.8之对应的libpng版本应该是1.5
解决方法：
方法1：
找到源码，直接注释掉。
方法2：(按此方法，问题依旧，最后直接用了方法1，有空再研究此方法)
安装libpng：(需要先卸载老版本：libpng12, sudo apt-get remove libpng12-dev)
下载地址： https://sourceforge.net/projects/libpng/files/
tar -xzvf libpng-1.5.30.tar.gz
cd libpng-1.5.30.tar.gz
./configure
make check
sudo make install
sudo ldconfig
问题10：
现象描述：
home/jim/miniconda3/include/python3.7m/pyport.h: 886:2:error:#error "LONG_BIT definition appears wrong for platform (bad gcc/glibc config?)
原因分析：
编译前的./configure设置使用的是anaconda2(python2.7)，在编译时却使用了python3.7m。
解决方法：
去除高级别的Python。
问题11：
现象描述：
external/boringssl/src/include/openssl/base.h:240:13: error: conflicting declaration 'typedef int CRYPTO_THREADID'
解决方法：
重命名交叉编译SDK目录x86_64_linux/boringssl为boringssl_old，以使代码不编译该包。
问题12：
现象描述：
external/boringssl/src/crypto/internal.h:432:3: error: unknown type name 'pthread_rwlock_t'
解决方法：
去除编译选项 --conlyopt="-std=c99"
没有显示指定-std，gcc默认使用gnu89或gnu90标准，pthread_rwlock_t是gnu extension的一部分，指定使用c99会把gnu extension 禁用，造成pthread_rwlock_t未定义。
问题13：
现象描述：
import enum # pylint:disable=g-bad-import-order
ImportError:No module named enum
解决方法：
sudo apt-get install python-enum34
问题14：
现象描述：
import mock # pylint:disable=g-bad-import-order
ImportError:No module named mock
解决方法：
sudo apt-get install mock
问题15：
现象描述：
更新SDK版本后，有编译残留信息，之前的路径已更新，但在新路径中并不存在。
解决方法：
1、 ll ~/.cache/bazel 列出bazel_jim(当前主目录)
2、 ll ~/.cache/bazel/bazel_jim 列出各文件夹，其中包含自动生成的随机文件夹，如果包含多个，可通过时间来判断。找到最新的即可。
3、rm rf 之前生成的文件夹
4、sudo gedit /usr/include/python2.7/pyconfig.h
更新相应文件路径
问题16：
现象描述：
opt/fsl-bsp-x11/x86_64_linux/usr/include/python2.7/python.h:找不到python2.7/python-config32.h
解决方法：
找到指定目录，里面只有python-config64.h，直接复制一个文件，更名为python-config32.h
也可以找到定义WORDSIZE=32的地方，将 该值
问题17：
Executing genrule @bazel_tools//tools/android:no_android_sdk_rpository_erro
在tensorflow的WORKSPACE文件夹下添加如下信息：
android_sdk_repository(
name="androidsdk",
api_level=28,// 设置为你安装的SDK的最高版本，对应修改manifest.xml和target.
build_tools_version="28.0.1",
path="/home/jim/Android/Sdk",)
问题18：
在某些ARM平台，需要地址对齐，否则在程序运行时，访问内存奇数地址或者未对齐地址，导致Crash
sudo gedit tensorflow/core/lib/gtl/inlined_vector.h +288
将T* unused_aligner 替换为 uint64_t unused_aligner ，强制为8字节对齐。
问题19：
问题现象：
/home/jim/tf2arm/sysroots/x86_64-linux/usr/libexec/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/ld:cannot find crti.o:No such file or directory
/home/jim/tf2arm/sysroots/x86_64-linux/usr/libexec/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/ld:cannot find crtbeginS.o:No such file or directory
原因分析：
在SDK包中查找这两个文件，都可以正常找到，记录下相应的全路径；
CRT（C runtime）
尝试方法1：
进入该目录：/home/jim/tf2arm/sysroots/x86_64-linux/usr/libexec/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/ld，打开一个新的CMD窗口
建立软连接：ln -s /home/jim/tf2arm/sysroots/x86_64-linu/cortexa9hf/usr/lib/arm-poky-linux-gnueabi/5.3.0/crtbeginS.o .
ln -s /home/jim/tf2arm/sysroots/x86_64-linu/cortexa9hf/usr/lib/crti.o .
再次编译失败！
尝试方法2：
sudo find /usr/ -name crti*,找到相应的文件路径：/usr/lib/x86_64-linux-gnu/ ,在CROSSTOOL里添加cxx_builtin_include_directory:"usr/lib/x8_64-linux-gnu"。
再次编译失败！
尝试方法3：
根据https://community.nxp.com/thread/391237，链接中有提供一些解决方法，但并未解决我的问题。
尝试方法4：
根据https://stackoverflow.com/questions/40233088/ld-cannot-find-crt1-o-no-such-file-or-directory，
需要在交叉编译环境设置--sysroot=${STAGING_DIR_TARGET}/，调试了两天，终于找到了设置的地方：
在CROSSTOOL的toolchain，设置builtin_sysroot：“/opt/fsl-imx-x11/4.1.15-2.1.0/x86_64_polysdk-linux/cortexa9hf-neon-poky-linux-gnueabi”
可以在编译的环境变量里看到--sysroot=/opt/fsl-imx-x11/4.1.15-2.1.0/x86_64_polysdk-linux/cortexa9hf-neon-poky-linux-gnueabi
问题得以解决！
问题20：
/opt/fsl-imx-x11/4.1.15-2.1.0/x86_64_polysdk-linux/usr/libexec/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/ld:error: bazel-out/armv7-opt/bin/tensorflow/python/framework/fast_tensor_util.so uses VFP register arguments,bazel-out
/opt/fsl-imx-x11/4.1.15-2.1.0/x86_64_polysdk-linux/usr/libexec/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/ld:failed to merge target specific data of file bazel-out/armv7-opt/bin/tensorflow/python/_objs/framework/fast_tensor_util.so/fast_tensor_util.pic.o
解决方法：
在CROSSTOOL的ARM toolchain，增加几行编译标志：
compiler_flag: "-mfloat-abi=hard"
compiler_flag: "-mfpu=vfpv3" #具体内容需要对应具体ARM芯片，当前IMX6：armv7-a cortex-a9 vfpv3
compiler_flag: "-funsafe-math-optimizations"
问题21：
undefined reference to 'void tensorflow:ConcatCPU<tensorflow::bfloat16>
解决方法：
在tensorflow/core/kernels/list_kernels.h中，注释掉128行：ConcatCPU...
问题２２：
在一台电脑上编译通过的ｔｅｎｓｏｒｆｌｏｗ拷贝到另外一台电脑上，无法编译通过．
bazel编译pc版本ｔｅｎｓｏｒｆｌｏｗ时，碰到两个错误：
第１个:external/nasm/include/error.h 找不到，需执行命令：sudo cp external/nasm/include/error.h external/nasm/
第２个：int_max_32 :redifinition in in /usr/include/google/protobuf/
bazel编译arm版本ｔｅｎｓｏｒｆｌｏｗ时，碰到以下错误：
．/configure 配置python环境为：/usr/bin/python2.7
第一个：/home/jim/sysroots/x86_64-pokysdk-linux/usr/lib/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/include-fixed/openssl/bn.h：fatal error: openssl/e_os2.h: No such file or directory
修改目录：/home/jim/sysroots/x86_64-pokysdk-linux/usr/lib/arm-poky-linux-gnueabi/gcc/arm-poky-linux-gnueabi/5.3.0/include-fixed/openssl 为openssl_old
/home/jim/sysroots/x86_64-pokysdk-linux/cortexa9hf-neon-poky-linux-gnueabi/usr/include/openssl 为openssl_old
第二个：int_max_32 :redifinition in in /usr/include/google/protobuf/
修改目录：/usr/include/google/protobuf 为protobuf_old
第三个：/usr/include/python2.7/pyconfig.h:24:54: fatal error: arm-linux-gnueabihf/python2.7/pyconfig.h: No such file or directory
打开文件：/usr/include/python2.7/pyconfig.h， 去掉前缀：arm-linux-gnueabihf/
用了一周时间终于解决完所有编译问题，上张图，在此MARK一下！
注：bazel clean --expunge （尽量少用，使用后，会清除生成的文件~/.cache/bazel/bazel_jim/7924169126bef9c95805dc831e19e9c3）
