[Triton课程笔记] 1.1.3 Triton的辅助工具及特性

视频链接：https://www.bilibili.com/video/BV1R3411g7VR/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

一、性能分析工具

Model analyzer：

是一套性能分析工具，提供性能分析，内存分析，为推理的优化提供性能数据信息。

二、学习资源

文档，代码仓库，NGC。

样本代码。

demo。

 不同场景，Triton的部署和分析教程。

博客资源。

三、自研推理服务 VS Triton

• 开源，bsd协议。
  • 社区方式管理，重构风险低；
  • 核心团队来自NV，对NVGPU的适配好；
  • 来自不同公司贡献的backend；
  • 可以促进新特性，提需求；
• 支持多框架；
• 使用的公司多；
• 通过customer backend解耦定制模型；
• 基于多实例支持，GRPC和CUDA基于内存的优化，实现更好的性能；
• 驾驶舱（监控）支持

监控项目细节。

客户，吹水用的。