《二》TensorRT之C++接口使用
以下内容根据个人理解整理而成，如有错误，欢迎指出，不胜感激。
更新：看了一个NVIDIA关于TensorRT 6的分享视频，官方建议使用TensorRT的Python接口进行开发，且TensorRT提供的Parser不太好用，建议自己实现API来构建网络。
0. 写在前面
本文首先根据TensorRT开发者指南梳理TensorRT的C++接口使用流程，然后基于TensorRT的官方例程“Hello World” For TensorRT来了解其具体使用方式。
1. C++接口使用
由上一篇Blog中的内容可知，模型从导入TensorRT到执行Inference大致经过下面三个阶段：
- Network Definition
- Builder
- Engine
这三个阶段分别对应着TensorRT中一些重要的类和方法，下面分别来叙述。
ILogger
首先说明一个必须但不是很重要的类ILogger，它用于记录一些日志信息。
在编程时，我们需要声明一个全局的ILogger对象gLogger，TensorRT中很多方法都需要它作为参数
(貌似需要继承ILogger类来编写自己的Logger类)
IBuilder
IBuilder类应该算是最重要的一个类，在使用时，首先要使用TensorRT的全局方法createInferBuilder()来创建一个IBuilder类指针，然后由该指针调用IBuilder类方法创建Network和Engine类的指针。
INetworkDefinition
INetworkDefinition类即为网络定义，可通过IBuilder类方法createNetwork()返回其指针。
ICudaEngine
ICudaEngine类即为Engine，可通过IBuilder类方法buildCudaEngine()/buildEngineWithConfig()返回其指针。
注意，可通过导入模型生成Engine和通过反序列化来加载Engine两种Engine生成方式。
IParser
IParser类对应着前文所述的三种不同的解释器，可根据需要来使用。
IParser类方法parse()用于解析并加载模型及参数到TensorRT网络中(INetworkDefinition类)
IExecutionContext
Engine的运行需要一个运行时环境，createExecutionContext()方法为相应的ICudaEngine生成一个IExecutionContext类型的运行环境context。
一个简单的代码示例如下：
# builder
IBuilder* builder = createInferBuilder(gLogger);
# network
INetworkDefinition* network = builder->createNetwork();
# parser -> load params to network
CaffeParser* parser = createCaffeParser();
const IBlobNameToTensor* blobNameToTensor = parser->parse(args);
# engine
builder->setMaxBatchSize(maxBatchSize);
IBuilderConfig * config = builder->createBuilderConfig();
config->setMaxWorkspaceSize(1 << 20);
ICudaEngine* engine = builder->buildEngineWithConfig(*network, *config);
# serialize engine if necessary
IHostMemory *serializedModel = engine->serialize();
//# 如果是直接反序列化来获取engine，上述很多步骤都不需要
//IRuntime* runtime = createInferRuntime(gLogger);
//ICudaEngine* engine = runtime->deserializeCudaEngine(modelData, modelSize, nullptr);
# inference
IExecutionContext *context = engine->createExecutionContext();
# 获取输入输出层的索引
int inputIndex = engine->getBindingIndex(INPUT_BLOB_NAME);
int outputIndex = engine->getBindingIndex(OUTPUT_BLOB_NAME);
# 指针指向输入输出层在GPU中的存储位置
void* buffers[2];
buffers[inputIndex] = inputbuffer;
buffers[outputIndex] = outputBuffer;
# 异步执行inference
context->enqueue(batchSize, buffers, stream, nullptr);
# clear
serializedModel->destroy();
parser->destroy();
network->destroy();
config->destroy();
builder->destroy();
...
疑问一：IBuilder配置参数
可根据需要来配置builder，其中比较重要的参数有两个：
- maxBatchSize: TensorRT的输入是NHWC格式，maxBatchSize表明了N最大可为多少，如当N=8时，模型一次可处理8张图片，速度要大于调用8次、每次处理一张图片的总时间；
- maxWorkspaceSize：每一层算法的运行都需要临时的存储空间，该参数限制了每一层能够使用的最大临时存储空间。
疑问二：runtime vs context
在读开发者指南时，这两个概念有点乱，这里区分一下：
- runtime: 直接反序列化获取engine时，需要定义该类，此时不需要前面builder等相关的操作
- context：每一个engine的运行都需要context，一个engine可有多个context
注意一：CUDA context
从开发者指南中可知，尽管可以使用默认的CUDA context而不显式创建它，但官方不建议这么做，推荐在创建一个runtime或builder对象时，创建并配置自己的CUDA context。
2. “Hello World” For TensorRT
理清上述流程后，该例子的cpp源码不难理解，具体细节这里不再阐述。
