[Triton课程笔记] 1.2.4 编程实战-配置ensemble model

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-264.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-26

7.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-26

8.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-2611.[Triton课程笔记] 2.1.4 Backend-build2024-06-2612.[Triton课程笔记] 2.2.1 Python Backend2024-06-2613.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、例子1
• 二、例子2
• 三、例子3

 

---

课程链接：https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、例子1

图片-预处理模型-分别进入不同的模型-输出不同的结果。

定义模型的输入输出，然后在ensemble_scheduling中定义不同的步骤，其中step中的key是本身的input/output tensor的名字；value是ensemble model中的Tensor名字。

配置写完后，在ensemble_model的目录只能够新建一个版本目录，里面为空，然后放config文件。

注意事项：

• 如果组合里有一个是stateful 模型，那么整个pipeline都成为stateful 模型，推理请求需要符合stateful model的规则。
• 每个子模块有各自的调度器。
• 如果每个子模块都是framework backend，则传输使用GPU进行，否则可能通过cpu 内存。

回到顶部

二、例子2

语音识别流程。

回到顶部

三、例子3

预处理-分支1分割模型-分支2fcn分割-合并拼接