TFLite基础知识

此基础知识仅为个人学习记录，如有错误或遗漏之处，还请各位同行给个提示。

概述

TFLite主要含有如下内容：

（1）TFLite提供一系列针对移动平台的核心算子，包括量化和浮点运算。另外，TFLite也支持在模型中使用自定义算子。

（2）TFLite基于FlatBuffers定义了一种新的模型文件格式。FlatBuffers类似于protocol buffers， FlatBuffers在访问数据之前不需要进行解析/解包步骤，通常与每个对象的内存分配相结合。而且，FlatBuffers的代码占用空间比protocol buffers小一个量级。

（3）TFLite拥有一个新的优化解释器，其主要目标是保持应用程序的精简和快速。 解释器使用静态图形排序和自定义（动态性较小）内存分配器来确保最小的负载、初始化和执行延迟。

（4）TFLite提供了一个利用硬件加速的接口，通过安卓端的神经网络接口（NNAPI）实现，可在Android 8.1（API级别27）及更高版本上使用。

TFLite提供的支持：

（1）一组核心ops，包括量化和浮点运算，其中许多已经针对移动平台进行了调整。 这些可用于创建和运行自定义模型。开发人员还可以编写自己的自定义ops，并在模型中使用。

（2）一种新的基于FlatBuffers的模型文件格式。

（3）MobileNet模型的量化版本，其运行速度比CPU上的非量化（浮点）版本快。

（4）更小的模型：当使用所有支持的运算符时，TFLite小于300KB，当仅使用支持InceptionV3和Mobilenet所需的运算符时，TFLite小于200KB。

（5）支持Java和C++接口

（6）提供一些pre-trained模型，例如mobileNets、Inception。

TensorFlow Lite的架构设计：

一、开发指南

在移动应用程序中使用TensorFlow Lite模型，分为三个以下步骤：

（1）选择预先训练或自定义模型；

这一步骤有三种选择模型的方式：a）使用pre-trained模型，例如mobileNets、Inception；b）在新的数据集上重新训练pre-trained模型；c）使用tf训练自定义的模型

（2）将模型转换为TensorFLow Lite格式；

TFLite Converter的支持输入：SavedModels，frozen graphs（由freeze_graph.py生成的模型）和tf.keras HDF5模型。输出文件为TFLite模型文件，部署到客户端（包括移动端或嵌入式设备）后，通过TFLite interpreter提供的接口使用TFLite模型文件。(具体转换过程见博文：TFLite模型转换过程)

（3）最后将模型集成到应用程序中。

Android端：由于Android应用程序是用Java编写的，而核心TensorFlow库是用C ++编写的，因此需要提供一个JNI库作为接口。（在Android端如何编写JNI库，以及将C++程序成封装.so文件，包括JNI基础、java与C++如何通过JNI来建立连接、.so封装的过程、makelist编写，具体见博文：Android studio 编写JNI库，封装成.so文件）

二 、TFLite接口

（1）C++接口

模型加载到FlatBufferModel对象中，然后由Interpreter类来执行。FlatBufferModel需要在Interpreter类的整个生命周期内保持有效，单个FlatBufferModel可以由多个Interpreter同时使用。具体而言，FlatBufferModel对象必须在使用它的任何Interpreter对象之前创建，并且必须保持至所有FlatBufferModel对象被销毁。

a）数据对齐

TFLite数据通常与16字节边界对齐。建议TFLite的所有输入数据都以这种方式对齐。

b）加载模型

FlatBufferModel类封装了模型加载，根据模型的存储位置以几种略有不同的方式构建：

请注意，如果TFLite检测到Android NNAPI的存在，它将自动尝试使用共享内存来存储FlatBuffer模型。

c）运行模型

几个简单的步骤：

• • 基于现有的FlatBufferModel构建解释器（Interpreter）
  • 如果不需要预定义的大小，可以选择调整输入tensor的大小。
  • 设置输入tensor值
  • 调用inference类
  • 读取输出张量值

Interpreter的公共接口，需要注意如下几点：

• • 为了避免字符串比较，tensor由整数表示；
  • 不能从并发线程中访问解释器；
  • 在调整张量大小后，立即调用AllocateTensors()来分配输入和输出tensor的内存。

d）自定义算子

所有TFLite运算符（自定义和内置运算符）都使用纯C接口定义，该接口由四个函数组成：

有关TfLiteContext和TfLiteNode的详细信息，请参阅tensorflow\lite\c\c_api_internal.h，该文件定义了在tflite中实现操作的C API。

如下所示的全局注册函数（如同tensorflow\lite\kernels\下的内置算子）中自定义上述四个函数，可以与内置操作完全相同的方式实现自定义操作：

请注意，注册不是自动的，应该在某处使用BuiltinOpResolver显式调用Register_MY_CUSTOM_OP。

e）自定义内核库

Interpreter将加载一个内核库（kernel），这些内核将用于执行模型中的每个操作符。Interpreter使用OpResolver将operator codes和name转换为实际代码：

通常的使用方法（tensorflow\lite\mutable_op_resolver.h）：

MutableOpResolver resolver;

resolver.AddBuiltin(BuiltinOperator_ADD, Register_ADD());  //添加内置算子

resolver.AddCustom("CustomOp", Register_CUSTOM_OP()); //注册自定义算子

InterpreterBuilder(model, resolver)(&interpreter);  

　（2）Java接口

TensorFlow Lite的Java API支持设备上inference，并作为Android Studio库提供，允许加载模型，提供输入和检索输出。

加载模型：使用Interpreter.java类进行TFLite模型推断（model inference）。使用模型文件初始化Interpreter类，Interpreter(@NonNull File modelFile, Options options)。

运行模型：

a）支持的数据类型

要使用TFLite，输入和输出tensor的数据类型必须是以下基本类型之一：float、int、long、byte。如果使用其他数据类型（包括类似Integer和Float的封装类型），则会抛出IllegalArgumentException。

b）输入值

每个输入应该是受支持的基本类型的数组或多维数组，或者是适当大小的原始ByteBuffer。 如果输入是数组或多维数组，则在模型推断时，模型相关的输入tensors将被隐式调整为数组的维度。如果输入是ByteBuffer，则调用者应首先在运行推断（inference）之前，手动调整输入张量（通过Interpreter.resizeInput（））。

ByteBuffer是缓冲区类，使用它可以进行高效的IO操作，允许解释器避免不必要的copy。 如果ByteBuffer是直接字节缓冲区，则其顺序必须为ByteOrder.nativeOrder（）。 ByteBuffer用于模型推断后，必须保持不变，直到模型推断完成。

c）输出

输出应该是受支持的基本类型的数组或多维数组，或者是适当大小的ByteBuffer。 请注意，某些型号具有动态输出，其中输出张量的形状可根据输入而变化。 使用现有的Java推理API没有直接的方法来处理这个问题，但未来计划的扩展将使这成为可能。

d）运行模型推断

一种输入和一种输出：

               run(@NonNull Object input, @NonNull Object output)

多种输入或者多种输出：

               runForMultipleInputsOutputs(Object[] inputs, @NonNull Map<Integer, Object> outputs)

e）释放资源

为避免内存泄漏，必须在使用后释放资源：interpreter.close（）;

三、如何使用自定义算子

通过一个例子来讨论这个问题。 假设我们正在使用Sin运算符，并且我们正在为函数y = sin（x + offset）构建一个非常简单的模型，其中offset是可训练的。

训练TensorFlow模型的代码将类似于：

如果使用带有--allow_custom_ops参数的TensorFlow Lite优化转换器将此模型转换为Tensorflow Lite格式，并使用默认解释器运行它，则解释器将引发以下错误消息：

TFLite中使用op所需要做的就是定义两个函数（Prepare和Eval），并构造一个TfLiteRegistration。如下示例（也可以根据kernel文件中的内置算子就行仿写）：

初始化OpResolver时，将自定义op添加到解析器中，这将使用Tensorflow Lite注册操作符，以便TensorFlow Lite可以使用新的实现。

编写自定义运算符的最佳实践：

（a）谨慎地优化内存分配和取消分配。相比于invake()，在Prepare()中分配内存更有效，并在循环之前而不是在每次迭代中分配内存。使用临时tensor数据而不是自己进行mallocing（参见第2项）。尽可能使用指针/引用而不是复制。

（b）如果数据结构在整个操作期间一直存在，我们建议使用临时张量预分配内存。可能需要使用OpData结构来引用其他函数中的张量索引。请参阅kernel for convolution。

（c）倾向于使用静态固定大小的数组（或者在Resize()中预先分配的std :: vector），而不是每次执行迭代时都使用动态分配std :: vector。

（d）避免实例化尚不存在的标准库容器模板，它们会影响二进制文件大小。例如，如果操作中需要std :: map而其他内核中不存在，则使用带有直接索引映射的std :: vector就可以，这样可以保持二进制大小较小。

（e）检查指向malloc返回的内存的指针。如果此指针为nullptr，则不应使用该指针执行任何操作。如果函数中有malloc()并且出现错误，在退出之前释放内存。

（f）使用TF_LITE_ENSURE(context，condition)检查特定条件。

特殊TF Graph属性:

当Toco将TF graph转换为TFLite格式时，生成的graph可能不可执行。

因此，在转换之前，可以将有关自定义算子输出的附加信息添加到TF graph中。 支持以下属性：

_output_quantized一个布尔属性，如果操作输出被量化，则为true

_output_types     输出张量的类型列表

_output_shapes   输出张量的形状列表

如何设置属性的示例：

四、TFLite 算子更新

由于TensorFlow Lite操作集小于TensorFlow，因此并非每个模型都可以转换。 即使对于受支持的操作，出于性能原因，有时也会出现非常具体的使用模式。在未来的TensorFlow Lite版本中将扩展支持的操作集。

本文档描述了TensorFlow Lite的op算子更新框架。 Op算子的更新使得开发人员能够将新功能和参数添加到现有操作中。 此外，它保证以下内容：

• 向后兼容性：新的TensorFlow Lite实现应该处理旧的模型文件。
• 向前兼容性：只要没有使用新功能，旧TensorFlow Lite实现应该处理由新版TOCO生成的新模型文件。
• 正向兼容性检测：如果旧的TensorFlow Lite实现不支持的新版本操作的新模型，则应报告错误。

示例：将dilation添加到卷积操作

本文档的其余部分通过展示如何将dilation参数添加到卷积操作来解释TFLite中的如何进行算子更新。需要注意两点：

• 将添加2个新的整数参数：dilation_width_factor和dilation_height_factor。
• 不支持扩张的旧卷积核相当于将扩张因子设置为1。

（1）更改FlatBuffer架构

将新参数添加到op中，需要更改lite/schema/schema.fbs中的options表。

例如，卷积选项表如下所示：

添加新参数时，需要添加注释，指示哪个版本支持哪些参数。

添加新参数后，表格将如下所示：

（2）更改C结构和内核实现

在TensorFlow Lite中，内核实现与FlatBuffer定义分离。 内核从lite/builtin_op_data.h中定义的C结构中读取参数。

原始卷积参数如下：

与FlatBuffer架构一样，需要添加注释，指示从哪个版本开始支持哪些参数。 结果如下：

最后更改内核，实现C结构中新添加的参数。 这里省略了细节。

（3）更改FlatBuffer阅读代码

 

文件lite/model.cc中读取FlatBuffer并生成C结构的逻辑。

更新文件以处理新参数，如下所示：

这里不需要检查op算子的版本。 因为，当新的方法读取缺少扩张因子的旧模型文件时，该方法将使用1作为默认值，保证新内核将与旧内核一致地工作。

（4）更改内核注册

MutableOpResolver（在lite / op_resolver.h中定义）提供了一些注册op内核的函数。 默认情况下，最小和最大版本为1：

内置的ops在lite / kernels / register.cc中注册。在这个例子中，实现了一个新的op内核，可以处理Conv2D版本1和2，所以我们需要将：

改为

（5）更改TOCO TFLite导出

最后一步是让TOCO填充执行操作所需的最低版本。 在这个例子中，它意味着：

• 填充 version=1 when dilation factors are all 1.
• 填充 version=2 otherwise.

为此，需要在lite/toco/tflite/operator.cc中覆盖运算符类的GetVersion函数。

对于只有一个版本的操作，GetVersion函数定义为：

支持多个版本时，请检查参数并确定op的版本，如以下示例所示：

（6）授权

TensorFlow Lite提供了一个授权API，可以将op授权给硬件后端。 在Delegate的Prepare函数中，检查授权代码中是否支持每个节点的版本。

五、TFLite 和TF兼容性指南

 由于TensorFlow Lite操作集小于TensorFlow，因此并非每个模型都可以转换。 即使对于受支持的操作，出于性能原因，有时也会出现非常具体的使用模式。在未来的TensorFlow Lite版本中将扩展支持的操作集。

了解如何构建可与TensorFlow Lite一起使用的TensorFlow模型的最佳方法，是仔细考虑如何转换和优化操作，以及此过程施加的限制。

 本文来源于tensorflow lite官网 https://tensorflow.google.cn/lite/overview