构建深度学习框架运行平台
构建深度学习框架运行平台
将为TensorFlow、PyTorch和TorchScript之外的元素构建一个简单的深度学习框架运行平台模型。将展示如何从Python和C++运行推理。
打包和推断接口还具有全面的文档字符串，并提供了API的更详细用法。
打包一个模型
包装模型的第一步是定义一个“问题”（例如，2d对象检测）。 “问题”由四个部分组成：
输入规格
指定输入张量的名称、数据类型和形状的dict列表
输出规格
指定输出张量的名称、数据类型和形状的dict列表
测试输入数据（可选）
如果提供了，将在打包后立即运行推断，以验证模型打包是否正确。如果提供了测试输出数据，则必须提供
测试输出数据（可选）
如果提供，将用测试输入数据测试推理输出是否与测试输出数据匹配。
张量的形状可以不包含任何值，在这种情况下，任何值都是可接受的。也可以在这些形状定义中使用“符号”。该符号的每个实例必须在运行时解析为相同的值。例如，加法模型的问题定义：
INPUT_SPEC = [
# A one dimensional tensor of any size with dtype float32
{"name": "x", "dtype": "float32", "shape": ("num_inputs",)},
# A one dimensional tensor of the same size with dtype float32
{"name": "y", "dtype": "float32", "shape": ("num_inputs",)},
]
OUTPUT_SPEC = [
# The sum of the two tensors
{"name": "out", "dtype": "float32", "shape": (None,)},
]
TEST_INPUT_DATA = {
"x": np.arange(5, dtype=np.float32),
"y": np.arange(5, dtype=np.float32),
}
TEST_EXPECTED_OUT = {
"out": np.arange(5) + np.arange(5)
}
x和y形状的符号num_inputs在运行时必须解析为相同的值。
现在已经定义了一个问题，将看到如何在每个当前支持的DL框架中打包一个模型。
TensorFlow有两种方法可以打包TensorFlow模型。一个是带GraphDef的，另一个是带到冻结图的路径的。这两种方法都需要一个node_name_mapping，该映射将问题定义（见上文）中的张量名称映射到张量流图中的节点。
图表
如果有一个返回GraphDef的函数：
import tensorflow as tf
def create_tf_addition_model():
"""
A simple addition model
"""
g = tf.Graph()
with g.as_default():
with tf.name_scope("some_namespace"):
x = tf.placeholder(tf.float32, name="in_x")
y = tf.placeholder(tf.float32, name="in_y")
out = tf.add(x, y, name="out")
return g.as_graph_def() 、
可以将模型打包如下：
from neuropod.packagers import create_tensorflow_neuropod
create_tensorflow_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
graph_def=create_tf_addition_model(),
node_name_mapping={
"x": "some_namespace/in_x:0",
"y": "some_namespace/in_y:0",
"out": "some_namespace/out:0",
},
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_tensorflow_neuropod在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
冻结图表的路径
已经有一个冻结的图形，则可以将模型打包如下：
from neuropod.packagers import create_tensorflow_neuropod
create_tensorflow_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
frozen_graph_path="/path/to/my/frozen.graph",
node_name_mapping={
"x": "some_namespace/in_x:0",
"y": "some_namespace/in_y:0",
"out": "some_namespace/out:0",
},
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_tensorflow_neuropod在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
PyTorch
提示
打包PyTorch模型有点复杂，因为运行网络需要python代码和权重。
如果可能，建议将模型转换为TorchScript。
为了创建Pythorch Europod包，需要遵循以下几条准则：
只要运行时环境安装了包，绝对导入（例如导入torch）就可以。
对于Python 3，包中的所有其他导入都必须是相对的 与TensorFlow/TorchScript/Keras包相比，这种类型的包的灵活性稍低，因为绝对导入引入了对运行时环境的依赖。这将在将来的版本中得到改进。
假设的加法模型是这样的（存储在/my/model/code/dir/main.py):
import torch
import torch.nn as nn
class AdditionModel(nn.Module):
def forward(self, x, y):
return {
"out": x + y
}
def get_model(data_root):
return AdditionModel()
为了打包，需要4样东西：
要存储的任何数据的路径（例如，模型权重）
代码的python_root的路径以及要打包的python_root中任何dir的相对路径
返回给定打包数据路径的模型的入口点函数。
模型的依赖关系。这些应该是python包。
提示
有关每个参数的详细说明，请参阅create_pytorch_eminod的API文档
对于模型：
不需要存储任何数据（因为我们的模型没有权重）
python根目录是/my/model/code/dir，希望将所有代码存储在其中
entrypoint函数是get_模型，entrypoint_包是main（因为代码在主.py在python根目录中） 这意味着：
from neuropod.packagers import create_pytorch_neuropod
create_pytorch_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
data_paths=[],
code_path_spec=[{
"python_root": '/my/model/code/dir',
"dirs_to_package": [
"" # Package everything in the python_root
],
}],
entrypoint_package="main",
entrypoint="get_model",
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_pytorch_neuropod创建后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
TorchScript
TorchScript比PyTorch更容易打包（因为不需要存储任何python代码）。
如果有一个附加模型，它看起来像：
import torch
class AdditionModel(torch.jit.ScriptModule):
"""
A simple addition model
"""
@torch.jit.script_method
def forward(self, x, y):
return {
"out": x + y
}
可以通过运行以下命令对其进行打包：
from neuropod.packagers import create_torchscript_neuropod
create_torchscript_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
module=AdditionModel(),
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
提示
create_torchscript_neuropod在创建后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
Keras¶
如果有一个Keras附加模型，它看起来像：
def create_keras_addition_model():
"""
A simple addition model
"""
x = Input(batch_shape=(None,), name="x")
y = Input(batch_shape=(None,), name="y")
out = Add(name="out")([x, y])
model = Model(inputs=[x, y], outputs=[out])
return model
可以通过运行：
from neuropod.packagers import create_keras_neuropod
create_keras_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
sess=tf.keras.backend.get_session(),
model=create_keras_addition_model(),
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_keras_neurood在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
Python
打包aribtrary Python代码具有与上面打包PyTorch相同的接口。
例如，请参见上面的PyTorch部分，并使用create_python_neurood而不是create_PyTorch_neurood
运行推理
不管底层的DL框架是什么，推理都是完全相同的
来自Python
x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])
with load_neuropod(ADDITION_MODEL_PATH) as neuropod:
results = neuropod.infer({"x": x, "y": y})
# array([6, 8, 10, 12])
print results["out"]
From C++
#include "neuropod/neuropod.hh"
int main()
{
const std::vector<int64_t> shape = {4};
// To show two different ways of adding data, one of our inputs is an array
// and the other is a vector.
const float[] x_data = {1, 2, 3, 4};
const std::vector<float> y_data = {5, 6, 7, 8};
// Load the neuropod
Neuropod neuropod(ADDITION_MODEL_PATH);
// Add the input data using two different signatures of `copy_from`
// (one with a pointer and size, one with a vector)
auto x_tensor = neuropod.allocate_tensor<float>(shape);
x_tensor->copy_from(x_data, 4);
auto y_tensor = neuropod.allocate_tensor<float>(shape);
y_tensor->copy_from(y_data);
// Run inference
const auto output_data = neuropod.infer({
{"x", x_tensor},
{"y", y_tensor}
});
const auto out_tensor = output_data->at("out");
// {6, 8, 10, 12}
const auto out_vector = out_tensor->as_typed_tensor<float>()->get_data_as_vector();
// {4}
const auto out_shape = out_tensor->get_dims();
}
提示
这显示了C++ API的基本用法。为了更灵活和高效地使用内存，请参阅C++ API文档。
附录
问题定义示例
二维目标检测的问题定义可能如下所示：
INPUT_SPEC = [
# BGR image
{"name": "image", "dtype": "uint8", "shape": (1200, 1920, 3)},
]
OUTPUT_SPEC = [
# shape: (num_detections, 4): (xmin, ymin, xmax, ymax)
# These values are in units of pixels. The origin is the top left corner
# with positive X to the right and positive Y towards the bottom of the image
{"name": "boxes", "dtype": "float32", "shape": ("num_detections", 4)},
# The list of classes that the network can output
# This must be some subset of ['vehicle', 'person', 'motorcycle', 'bicycle']
{"name": "supported_object_classes", "dtype": "string", "shape": ("num_classes",)},
# The probability of each class for each detection
# These should all be floats between 0 and 1
{"name": "object_class_probability", "dtype": "float32", "shape": ("num_detections", "num_classes")},
]
