[Triton课程笔记] 2.2.2 Python Backend及BLS

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-264.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-2611.[Triton课程笔记] 2.1.4 Backend-build2024-06-2612.[Triton课程笔记] 2.2.1 Python Backend2024-06-26

13.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-26

14.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、例子
• 二、环境配置
• 三、python backend总结
• 四、BLS简介
  • 4.1 BLS的同步模式

 

---

课程链接：https://www.bilibili.com/video/BV1r14y1s7w1/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、例子

在Python Backend中用pytorch在GPU上运行Resnet50。

回到顶部

二、环境配置

由于原生环境没有pytorch的包，因此需要自己安装，有两种安装方式：

• 直接继承原生的docker镜像，并在dockerfile中安装需要的包；
• 如果不能用原生镜像中的python，需要用第二种方式，即创建新的conda环境，安装依赖，重新构建python backend stub，并复制到模型目录；打包conda环境，在配置文件中指定conda包；

回到顶部

三、python backend总结

• 必须手动在代码中指定运行的设备（如GPU）
• 参数"group_instance {KIND:gpu}" 不起作用
• Requests都没有打包成batch，需要自己手动去拼接；
• 每个Request必须对应一个Response；
• 如果要避免CPU-GPU拷贝设置参数：FORCE_CPU_ONLY_INPUT_TENSORS；
• 用于数据传输的共享内存必须足够大
• 每个实例至少需要65MB
• 比C++ Backend效率低，特别在循环处理方面；

回到顶部

四、BLS简介

• 达到动态组合的效果；
• 通过简单的python代码去连接模型和实现逻辑流，如循环，if-else，数据控制流；
• BLS就是一种特殊的python backend：
• 可以在代码中调用其他模型；
• 配置和python model没区别；
• 有两种模式：
• 同步模式；
• 异步模式；

4.1 BLS的同步模式

例子：

25:25 代码部分