[Triton课程笔记] 2.1.4 Backend-build

合集 - Triton课程笔记(14)

1.[Triton课程笔记] 1.1.1 框架介绍2024-06-262.[Triton课程笔记] 1.1.2 Triton的设计2024-06-263.[Triton课程笔记] 1.1.3 Triton的辅助工具及特性2024-06-264.[Triton课程笔记] 1.2.1 编程实战-准备模型仓库2024-06-265.[Triton课程笔记] 1.2.2 编程实战-如何编写模型配置2024-06-266.[Triton课程笔记] 1.2.3 编程实战-启动Triton Server2024-06-267.[Triton课程笔记] 1.2.4 编程实战-配置ensemble model2024-06-268.[Triton课程笔记] 1.2.5 编程实战-请求Triton Server2024-06-269.[Triton课程笔记] 2.1.1 Backend-大纲2024-06-2610.[Triton课程笔记] 2.1.2-2.1.3 Backend-接口实现2024-06-26

11.[Triton课程笔记] 2.1.4 Backend-build2024-06-26

12.[Triton课程笔记] 2.2.1 Python Backend2024-06-2613.[Triton课程笔记] 2.2.2 Python Backend及BLS2024-06-2614.[Triton课程笔记] 2.2.3 BLS续2024-06-26

收起

目录

• 一、build
• 二、总结

 

---

课程链接：https://www.bilibili.com/video/BV1Fa411G75m/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

回到顶部

一、build

• 写CMakeLists.txt文件；
• 写cmake/TritonYourBackendConfig.cmake.in 文件；
• 将pytorch_backend/src/libtriton_pytorch.ldscript 拷贝到your_backend/src/libtriton_yourbackend.ldscript;
• build:
  • 单独build backend：
  • 用CMake和make构建；
  • 将构建好的backend复制到/opt/tritonserver/backends/yourbackend目录。
• 整个triton一起编译：
  • 修改build.py，按需求增加opts；
  • 运行build.py来编译Triton，加上--backend your_backend:<container_tag> 参数。

回到顶部

二、总结