[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现

课程链接：

2.1.2.：https://www.bilibili.com/video/BV1VP4y1Z76R/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

2.1.3：https://www.bilibili.com/video/BV1JW4y1B7Kr/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

一、七个关键接口实现

 

pytorch backend实现源码地址：https://github.com/triton-inference-server/pytorch_backend/blob/main/src/libtorch.cc。

七个关键接口照抄即可，一般不需要变动。真正需要关注的是两个State类，即ModelState和ModelInstanceState，pytorch backend的实现细节参考：我不会用 Triton 系列：如何实现一个 backend。

 

二、注意事项

• 注意device ids；
• batching的工作需要backend自己做；
• requests管理
  • requests对象在backend外面创建；
  • requests对象在backend里面销毁；
  • 如果发生严重错误，requests对象要销毁，并立即返回；
• response管理
  • 在backend里面创建；
  • backend不需要负责销毁，由Triton pipeline负责；
  • 发生严重错误时，返回error response。