摘要：先介绍TensorRT、Triton的关系和区别： TensorRT：为inference（推理）为生，是NVIDIA研发的一款针对深度学习模型在GPU上的计算，显著提高GPU上的模型推理性能。即一种专门针对高性能推理的模型框架，也可以解析其他框架的模型如tensorflow、torch。 主要优化 阅读全文

摘要：TensorRT是Nvidia开发的一个高性能深度学习推理引擎。 它主要用于优化和部署已经训练好的深度学习模型， 提高模型在NVIDIA GPU硬件上的推理性能。 TensorRT的主要功能和特点包括： 1. 模型优化 TensorRT提供了一系列优化技术， 包括层融合， 张量格式化， kernel 阅读全文