[Triton课程笔记] 1.2.4 编程实战-配置ensemble model

课程链接：https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

一、例子1

图片-预处理模型-分别进入不同的模型-输出不同的结果。

定义模型的输入输出，然后在ensemble_scheduling中定义不同的步骤，其中step中的key是本身的input/output tensor的名字；value是ensemble model中的Tensor名字。

配置写完后，在ensemble_model的目录只能够新建一个版本目录，里面为空，然后放config文件。

注意事项：

• 如果组合里有一个是stateful 模型，那么整个pipeline都成为stateful 模型，推理请求需要符合stateful model的规则。
• 每个子模块有各自的调度器。
• 如果每个子模块都是framework backend，则传输使用GPU进行，否则可能通过cpu 内存。

二、例子2

语音识别流程。

三、例子3

预处理-分支1分割模型-分支2fcn分割-合并拼接