摘要: 近日很想验证使用pytorch训练模型转tensorrt各种关系,更深理解基于C++ API接口engine加速理论(Python API接口稍微简单,将不在验证),本文基于ResNet分类网络,收获如下: 收获一:通过C++ API,使用wts方法构建网络网络验证; 收获二:通过C++ API,使用onnx中间结构解析构建构建网络网络验证; 收获三:通过Python、torch,构建分类网络及转wts和onnx方法; 收获四:同时使用windows平台与Linux平台编译验证; 收获五:不同情况下的性能比较; 收获六:Linux编译并运行 结论如下: 结论一:同一个硬件,python转engine引擎,可使用C++ API调用引擎,然测试时间增加; 结论二:若有engine引擎,可只需简单调用反序列化和cotext等操作,无需构建网络或获得引擎的代码依赖; 结论三:onnx和wts转engine推理时间相当(仅此验证),也或许网络过于简单而未表现准确,但肯定wts构建性能最好; 阅读全文
posted @ 2022-08-29 09:59 tangjunjun 阅读(2966) 评论(0) 推荐(0) 编辑
https://rpc.cnblogs.com/metaweblog/tangjunjun