摘要:
近日很想验证使用pytorch训练模型转tensorrt各种关系,更深理解基于C++ API接口engine加速理论(Python API接口稍微简单,将不在验证),本文基于ResNet分类网络,收获如下:
收获一:通过C++ API,使用wts方法构建网络网络验证;
收获二:通过C++ API,使用onnx中间结构解析构建构建网络网络验证;
收获三:通过Python、torch,构建分类网络及转wts和onnx方法;
收获四:同时使用windows平台与Linux平台编译验证;
收获五:不同情况下的性能比较;
收获六:Linux编译并运行
结论如下:
结论一:同一个硬件,python转engine引擎,可使用C++ API调用引擎,然测试时间增加;
结论二:若有engine引擎,可只需简单调用反序列化和cotext等操作,无需构建网络或获得引擎的代码依赖;
结论三:onnx和wts转engine推理时间相当(仅此验证),也或许网络过于简单而未表现准确,但肯定wts构建性能最好; 阅读全文