[Triton课程笔记] 1.2.1 编程实战-准备模型仓库

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-26

4.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-26

5.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-2611.[Triton课程笔记] 2.1.4 Backend-build2024-06-2612.[Triton课程笔记] 2.2.1 Python Backend2024-06-2613.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、Triton总体架构
• 二、需要了解的基本内容
  • 2.1 模型仓库准备

 

---

课程链接：https://www.bilibili.com/video/BV1234y157Xh/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、Triton总体架构

服务端：模型仓库->backend->硬件

从模型仓库加载模型，根据模型的类型，选择特定的backend，将模型运行在特定的硬件上。

客户端：编程语言->query->服务端

客户端可以使用python或者C++等编程语言的库，通过HTTP、gRPC协议，或者直接使用C API进行调用。服务端收到请求后，会调度器会调度请求给模型进行处理，返回推理结果。

回到顶部

二、需要了解的基本内容

• 模型仓库准备；
• 模型配置；
• Triton Server启动；
• 配置组合模型；
• 客户端发送Requests；

2.1 模型仓库准备

必须符合以下结构：

• 一级目录：仓库名称，如model_repository。
• 二级目录：具体模型名字，如densenet_onnx。
• 三级目录：
• 版本号目录：1，表示版本1，可以有多个版本。里面放模型文件，如model.onnx；
• config.pbtxt：模型配置参数，规定模型运行时的行为；
• label文件：（可选）将分类模型的输出，转为文件里指定的标签。

2.1.1 模型目录细节

版本号目录：

• 需要包含模型文件，注意格式；
• 使用模型版本需要和版本目录名保持一致。

配置文件：

为模型和服务定义一系列配置参数。

标签文件：

针对分类模型，标签自动转为标签文件中的标签名。

启动Triton服务：

启动Triton服务时，需要指定仓库目录。

启动成功的输出：