03 2025 档案
摘要:1. 核心原理 定义计算逻辑:告诉 GPU 如何执行这个特殊层的计算。 集成到 TensorRT:让 TensorRT 在推理时调用你的计算逻辑。 2. 开发步骤 1. 创建一个插件类,继承TensorRT的 IPluginV2 接口,实现关键函数 #include <NvInfer.h> clas
阅读全文
摘要:1. 模型导出基础介绍 torch.onnx.export中需要的模型实际上是一个torch.jit.ScriptModule。而要把普通 PyTorch 模型转一个这样的 TorchScript 模型,有跟踪(trace)和记录(script)两种导出计算图的方法。如果给torch.onnx.ex
阅读全文