有多少人工，就有多少智能

随笔分类 -  TriTon

模型部署 - TensorRT - NVIDIA 讲 TensorRT - 8.6.1版本 - 性能优化
摘要： 阅读全文
posted @ 2024-07-15 16:52 lvdongjie-avatarx 阅读(27) 评论(0) 推荐(0) 编辑
模型部署 - TensorRT - NVIDIA 讲 TensorRT - 8.6.1版本 -Plugin
摘要： 阅读全文
posted @ 2024-07-14 21:10 lvdongjie-avatarx 阅读(6) 评论(0) 推荐(0) 编辑
模型部署 - TensorRT - NVIDIA 讲 TensorRT - 8.6.1版本
摘要： 阅读全文
posted @ 2024-07-14 10:24 lvdongjie-avatarx 阅读(19) 评论(0) 推荐(0) 编辑
模型部署 - TensorRT - C++版本与Python版本应如何选择
摘要：从性能角度来看,TensorRT C++版本和Python版本之间确实存在一些差异: C++版本性能更优: TensorRT C++版本使用了更底层的API,可以更好地利用硬件特性,进行更深层的优化。 C++版本在内存管理、CPU-GPU数据传输等方面更加高效,这些都可以带来更好的推理性能。 Pyt 阅读全文
posted @ 2024-07-13 21:52 lvdongjie-avatarx 阅读(116) 评论(0) 推荐(0) 编辑
模型部署 - TensorRT & Triton 学习
摘要：先介绍TensorRT、Triton的关系和区别： TensorRT：为inference（推理）为生，是NVIDIA研发的一款针对深度学习模型在GPU上的计算，显著提高GPU上的模型推理性能。即一种专门针对高性能推理的模型框架，也可以解析其他框架的模型如tensorflow、torch。 主要优化 阅读全文
posted @ 2024-07-13 18:42 lvdongjie-avatarx 阅读(319) 评论(0) 推荐(0) 编辑