tensorrt序列化和反序列化失败

今天开发的时候用tensorrt的序列化和反序列化,总是报engine为nullptr的错误。

首先我序列化的是时候是这样写的

        caffeToTRTModel(deployfile, modelfile, NULL);
        ofstream trtModelFile(cacheFile);
        trtModelFile.write((char *)trtModelStream->data(), trtModelStream->size());
        trtModelFile.close();
        runtime = createInferRuntime(*pLogger);
        engine = runtime->deserializeCudaEngine(trtModelStream->data(), trtModelStream->size(), NULL);
        trtModelStream->destroy();

然后反序列这样写的

        string cacheFile = netWorkName + ".cache";
        ifstream trtModelFile(cacheFile);
        trtModelFile.seekg(0, ios::end);
        size = trtModelFile.tellg(); 
        trtModelFile.seekg(0, ios::beg);

        char * buff = new char [size];
        trtModelFile.read(buff, size);
        trtModelFile.close();
        runtime = createInferRuntime(*pLogger);
        engine = runtime->deserializeCudaEngine((void *)buff, size, NULL);
        delete buff;

怎么看这段代码代码都没问题啊,怎么会反序列化出错呢。

后面调试一下发现,write的size和read的size居然不是一样大的。

太坑了,原来为了保证ofstream和ifstream的大小完全一致,一定保证写入和读取都是二进制形式,即是改成这样

ofstream trtModelFile(cacheFile, std::ios_base::out | std::ios_base::binary);
ifstream trtModelFile(cacheFile, std::ios_base::in | std::ios_base::binary);
posted @ 2021-04-09 17:24  cyssmile  阅读(2509)  评论(0编辑  收藏  举报