[Triton课程笔记] 2.2.1 Python Backend

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-264.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-2611.[Triton课程笔记] 2.1.4 Backend-build2024-06-26

12.[Triton课程笔记] 2.2.1 Python Backend2024-06-26

13.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、大纲
• 二、回顾
• 三、python backend
  • 3.1 为什么需要python backend
  • 3.2 工作原理
  • 3.3 如何实现Python Backend
  • 3.4 简单例子
  • 3.5 PB Tensor Placement

 

---

课程链接：https://www.bilibili.com/video/BV1De4y1h7WS/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

吐槽一下，英伟达的分视频真的有病，感觉是按照时长硬切，没什么逻辑。

回到顶部

一、大纲

两大部分：

• Python Backend
• Business Logic Scripting（BLS）

回到顶部

二、回顾

回到顶部

三、python backend

3.1 为什么需要python backend

• 预处理、后处理一般用python；
• 已经用python写好的处理单元，需要放Triton上去；
• 比C++的更容易实现，无需编译；

3.2 工作原理

组件：

• Python backend（C++）为代理；
• Python model（Python）才是真正需要实现的东西，由进程进行管理；
• 两者通过共享内存进行通信；

通信：

• Health flag：标志Python stub process是否是否健康；
• Request MessageQ：消息队列，用来从Python Backend传数据到Python stub process去运行；
• Response MessageQ：消息队列，用来将Python stub process运行完的结果传输给Python Backend；

3.3 如何实现Python Backend

实现三个关键接口：

• initialize：初始化操作；
• excute：执行操作；
• finalize：销毁操作；

3.4 简单例子

例子1 使用onnxruntime推理：

使用Python Backend 通过onnxruntime去运行Resnet50模型；

例子2，使用pytorch进行处理：

在Python Backend中调用pytorch。

需要先将pb Tensor 转为 pytorch Tensor；

处理完后，再把pytorch Tensor转回pb Tensor；

3.5 PB Tensor Placement

PB Tensor Placement究竟是放GPU还是GPU上？

• 传给Python backend的Tensor默认复制到CPU上；
• 如果需要保持在GPU上，需要在config文件中设置参数：
  • parameters:{ key: "FORCE_CPU_ONLY_INPUT_TENSORS" value: {string_value: "no"}}
• 如何查看tensor Placement是否在cpu上：
  • pb_utils.Tensor.is_cpu()