[Triton课程笔记] 1.1.1 框架介绍

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-26

2.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-264.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-2611.[Triton课程笔记] 2.1.4 Backend-build2024-06-2612.[Triton课程笔记] 2.2.1 Python Backend2024-06-2613.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、推理框架介绍
• 二、推理框架组件介绍
• 三、Triton基本功能

 

---

视频链接：https://www.bilibili.com/video/BV1KS4y1v7zd/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、推理框架介绍

1. triton和推理框架不能画上等号，推理框架一般包括客户端端和服务端，triton是服务端部分。
2. 使用triton的场景，一般使用k8s来管理triton应用，解决负载均衡，动态扩容等问题。
3. 模型仓库，用来管理模型文件。
4. metrics service：监控整个推理服务，驾驶舱。
5. 推理服务一般开启多个部署，用以分担推理请求压力。triton实际上就是绿色部分。
6. triton支持多种深度学习框架导出的模型，Tensorrt只是triton里的一个推理库而已。

回到顶部

二、推理框架组件介绍

进一步介绍了推理框架中的组件。

• k8s——集群。
• Triton——单模式推理服务（Pod），单卡/多卡
• Tensorrt——模型加速库。

回到顶部

三、Triton基本功能

• 多框架支持；
• CPU、GPU，多GPU异构支持；
• 并行执行能力，CPU级别优化；
• 支持HTTP/REST，gRPC APIS；
• 监控：通过延迟和运行状况指标与编排系统和自动缩放进程集成；
• 模型管理，加载、卸载、更新；
• 开源，NGC docker仓库支持，每月发布；

其他：Scheduler主要是指对推理请求队列进行调度的过程。