[Triton课程笔记] 1.1.3 Triton的辅助工具及特性

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-26

3.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-26

4.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-2611.[Triton课程笔记] 2.1.4 Backend-build2024-06-2612.[Triton课程笔记] 2.2.1 Python Backend2024-06-2613.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、性能分析工具
• 二、学习资源
• 三、自研推理服务 VS Triton

 

---

视频链接：https://www.bilibili.com/video/BV1R3411g7VR/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、性能分析工具

Model analyzer：

是一套性能分析工具，提供性能分析，内存分析，为推理的优化提供性能数据信息。

回到顶部

二、学习资源

文档，代码仓库，NGC。

样本代码。

demo。

 不同场景，Triton的部署和分析教程。

博客资源。

回到顶部

三、自研推理服务 VS Triton

• 开源，bsd协议。
  • 社区方式管理，重构风险低；
  • 核心团队来自NV，对NVGPU的适配好；
  • 来自不同公司贡献的backend；
  • 可以促进新特性，提需求；
• 支持多框架；
• 使用的公司多；
• 通过customer backend解耦定制模型；
• 基于多实例支持，GRPC和CUDA基于内存的优化，实现更好的性能；
• 驾驶舱（监控）支持

监控项目细节。

客户，吹水用的。