[Triton课程笔记] 2.1.4 Backend-build

课程链接:https://www.bilibili.com/video/BV1Fa411G75m/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

一、build

  • 写CMakeLists.txt文件;
  • 写cmake/TritonYourBackendConfig.cmake.in 文件;
  • 将pytorch_backend/src/libtriton_pytorch.ldscript 拷贝到your_backend/src/libtriton_yourbackend.ldscript;
  • build:
    • 单独build backend:
    • 用CMake和make构建;
    • 将构建好的backend复制到/opt/tritonserver/backends/yourbackend目录。
  • 整个triton一起编译:
    • 修改build.py,按需求增加opts;
    • 运行build.py来编译Triton,加上--backend your_backend:<container_tag> 参数。

二、总结

posted @ 2024-06-26 14:51  大师兄啊哈  阅读(5)  评论(0编辑  收藏  举报