[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-264.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-26

10.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-26

11.[Triton课程笔记] 2.1.4 Backend-build2024-06-2612.[Triton课程笔记] 2.2.1 Python Backend2024-06-2613.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、七个关键接口实现
• 二、注意事项

 

---

课程链接：

2.1.2.：https://www.bilibili.com/video/BV1VP4y1Z76R/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

2.1.3：https://www.bilibili.com/video/BV1JW4y1B7Kr/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、七个关键接口实现

 

pytorch backend实现源码地址：https://github.com/triton-inference-server/pytorch_backend/blob/main/src/libtorch.cc。

七个关键接口照抄即可，一般不需要变动。真正需要关注的是两个State类，即ModelState和ModelInstanceState，pytorch backend的实现细节参考：我不会用 Triton 系列：如何实现一个 backend。

 

回到顶部

二、注意事项

• 注意device ids；
• batching的工作需要backend自己做；
• requests管理
  • requests对象在backend外面创建；
  • requests对象在backend里面销毁；
  • 如果发生严重错误，requests对象要销毁，并立即返回；
• response管理
  • 在backend里面创建；
  • backend不需要负责销毁，由Triton pipeline负责；
  • 发生严重错误时，返回error response。