pytorch模型从训练到LibTorch部署(标贝科技)
1、pytorch和libtorch安装(标贝科技)
PyTorch 是Torch7 团队开发的，从它的名字就可以看出，其与Torch 的不同之处在于PyTorch 使用了Python 作为开发语言。所谓“Python first”，同样说明它是一个以Python 优先的深度学习框架，不仅能够实现强大的GPU 加速，同时还支持动态神经网络，这是现在很多主流框架比如Tensorflow 等都不支持的。
PyTorch 既可以看做加入了GPU 支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络，除了Facebook 之外，它还已经被Twitter、CMU 和Salesforce 等机构采用。
pytorch是一个强大的机器学习库，其中集成了很多方法，但从python本身角度讲，它的速度还不够快，虽然对于许多需要动态性和易迭代性的场景来说，Python是一种合适且首选的语言，但在同样的情况下，Python的这些特性恰恰是不利的。它常常应用于生产环境，这是一个低延迟和有严格部署要求的领域，一般选择C++。
1）安装pytorch
两种方式安装pytorch：根据实际cuda版本和需求安装对应版本pytorch，这里安装的是1.5.0版本。
a.查看cuda版本
cat /usr/local/cuda/version.txt
得到cuda版本，安装合适版本的pytorch。
b.使用pip安装
pip install torch==1.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
c.使用conda安装
下载anaconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.2.0-Linux-x86_64.sh
安装anconda
bash Anaconda3-5.2.0-Linux-x86_64.sh
创建test_torch虚拟环境，python版本=3.6
conda create -n test_torch python=3.6
激活test_torch虚拟环境
conda activate test_torch
安装pytorch
conda install torch=1.5.0
d.torch测试
import torch
torch.version
2）安装libtorch
a.确定libtorch版本
使用libtorch调用c++接口，要保证下载的libtorch的版本和pytorch的版本对应，使用低版本的pytorch和高版本的libtorch是没法成功的。根据pytorch和cuda版本确认libtorch版本
查看libtorch版本
https://blog.csdn.net/lxx4610/article/details/105806017/
https://pytorch.org/get-started/locally/
b.从官网下载编译好的文件
获取libtorch有两种方式：
• 从官网下载编译好的文件
https://pytorch.org/ 下载对应版本
c.自己进行源码编译
码云下载
git clone https://gitee.com/mirrors/pytorch.git
查看libtorch版本
git tag
查看当前分支
git branch
根据cuda和pytorch版本切换到适配的版本
git checkout v1.2.0
更新第三方库
git submodule update --init --recursive
编译
mkdir build
cd build
python ../tools/build_libtorch.py
2、使用pytorch训练模型
这里就不展开介绍
3、将Pytorch模型转化为Torch Script
Torch Script可以完好的表达pytorch模型，而且也能被C++头文件所理解。有两种方法可以将pytorch模型转换成TorchScript，Tracing和Annotation。
1）Tracing
这种方法需要你给模型传入一个sample input，它会跟踪在模型的forward方法中的过程。
例如，加载一个torchvision.models.resnet18()模型
model = torchvision.models.resnet18()
使用 torch.rand()，生成一个随机样例输入
example = torch.rand(1, 3, 224, 224)
torch.jit.trace()方法对根据样例输入跟踪模型的forward方法中的过程
traced_script_module = torch.jit.trace(model, example)
最后导出TorchScript模型。
traced_script_module.save("traced_resnet_model.pt")
完整过程：
import torch
import torchvision
# An instance of your model.
model = torchvision.models.resnet18()
# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 224, 224)
# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(model, example) traced_script_module.save("traced_resnet_model.pt")
2）Annotation
如果forward方法中具有判断语句，Tracing方法就行不通了，Annotation方法则可以处理模型里有判断语句的情形，使用torch.jit.script。
模型定义：
class MyModule(torch.nn.Module):
def __init__(self, N, M):
super(MyModule, self).__init__()
self.weight = torch.nn.Parameter(torch.rand(N, M))
def forward(self, input):
if input.sum() > 0:
output = self.weight.mv(input)
else:
output = self.weight + input return output
定义了一个模型结构，在forward方法中使用了判断语句，这种模型在转化为Torch Script时，不能Tracing方法，这时可以使用 torch.jit.script()方法：
my_module = MyModule(10,20)
traced_script_module = torch.jit.script(my_module)
traced_script_module.save("traced_resnet_model.pt")
4、在C++中加载Model
将pytorch训练好的模型导出成torch script形式并保存，C++能够理解，编译并序列化torch script格式的模型。
使用libtorch中torch::jit::load()加载导出的模型。
#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main(int argc, const char* argv[]) {
if (argc != 2) {
std::cerr << "usage: example-app <path-to-exported-script-module>\n";
return -1;
}
torch::jit::script::Module module;
try {
// Deserialize the ScriptModule from a file using torch::jit::load().
module = torch::jit::load(argv[1]);
}
catch (const c10::Error& e) {
std::cerr << "error loading the model\n"; return -1;
}
std::cout << "ok\n";
}
torch::jit::load()函数用来加载模形，参数为模型文件名，返回torch::jit::script::Module类，<torch/script.h>头文件包含了需要的类和方法，这个文件通过安装libtorch得到。
5、运行模型
模型已经导入成功，使用libtorch中的一些方法，你就可以像在python中一样去跑你的模型了，并根据c++模型的输出与python模型的输出，对比结果。
// Create a vector of inputs.
std::vector<torch::jit::IValue> inputs;
inputs.push_back(torch::ones({1, 3, 224, 224}));
// Execute the model and turn its output into a tensor.
at::Tensor output = module.forward(inputs).toTensor();
std::cout << output.slice(/*dim=*/1, /*start=*/0, /*end=*/5) << '\n';
欢迎体验标贝语音开放平台
地址：https://ai.data-baker.com/#/?source=qaz123
（注：填写邀请码hi25d7，每日免费调用量还可以翻倍）
