Python神经网络集成技术Guide指南

Python神经网络集成技术Guide指南

本指南将介绍如何加载一个神经网络集成系统并从Python运行推断。
提示

所有框架的神经网络集成系统运行时接口都是相同的，因此本指南适用于所有受支持框架（包括TensorFlow、PyTorch、Keras和TorchScript）中的模型。

打包神经网络集成系统             

有关如何在所有支持的框架中创建Neuropod模型的示例，请参见基本介绍指南。             

打包一个神经网络集成系统

from neuropod.loader import load_neuropod

neuropod = load_neuropod(PATH_TO_MY_MODEL)

还可以使用load_ernood作为上下文管理器：

from neuropod.loader import load_neuropod

with load_neuropod(PATH_TO_MY_MODEL) as neuropod:

    # Do something here

Pass

选项             

还可以在加载模型时提供运行时选项。             

要选择在哪个设备上运行模型，可以提供一个visible_gpu参数。             

这是这个神经网络集成系统应该运行的GPU的索引（如果有的话）。可以是无整数，也可以是非负整数。将此设置为“无”将尝试在CPU上运行此模型。

# Run on CPU

neuropod = load_neuropod(PATH_TO_MY_MODEL, visible_gpu=None)

# Run on the second GPU

neuropod = load_neuropod(PATH_TO_MY_MODEL, visible_gpu=1)

获取模型的输入和输出             

模型的输入和输出通过输入和输出属性可用。

with load_neuropod(PATH_TO_MY_MODEL) as neuropod:

    # This is a list of dicts containing the "name", "dtype", and "shape"

    # of the input

print(neuropod.inputs, neuropod.outputs)

推论             

模型的推理方法用于运行推理。此方法的输入是将输入名称映射到值的dict。这必须与加载模型的neuropod配置中的输入规范匹配。

提示

这个dict中的所有键必须是字符串，所有值必须是numpy数组。

infer的输出是将输出名称映射到值的dict。对其进行检查，以确保其与已加载模型的neuropod配置中的规范匹配。这个dict中的所有键都是字符串，所有值都是numpy数组。

x = np.array([1, 2, 3, 4])

y = np.array([5, 6, 7, 8])

with load_neuropod(ADDITION_MODEL_PATH) as neuropod:

  results = neuropod.infer({"x": x, "y": y})

  # array([6, 8, 10, 12])

  print results["out"]

序列化

import numpy as np

from neuropod import neuropod_native

# An array to serialize

tensor = np.arange(5)

# Convert a numpy array to a NeuropodTensor and serialize it

serialized_bytes = neuropod_native.serialize(tensor)

# Deserialize a string of bytes to a NeuropodTensor

# (and return it as a numpy array)

deserialized = neuropod_native.deserialize(serialized_bytes)

# array([0, 1, 2, 3, 4])

print(deserialized)

序列化代码在NUMPY数组和C++ NoopPotoStor对象之间转换（以零拷贝方式）。然后，使用C++序列化功能来序列化/反序列化。

提示

序列化和反序列化工作在Python和C++之间。这意味着可以在C++中序列化张量，在Python中反序列化，反之亦然。

Warning

这个API的目标是支持临时序列化。不能保证向后兼容，因此此API不应用于数据的长期存储。