tensorrt序列化和反序列化失败
今天开发的时候用tensorrt的序列化和反序列化,总是报engine为nullptr的错误。
首先我序列化的是时候是这样写的
caffeToTRTModel(deployfile, modelfile, NULL);
ofstream trtModelFile(cacheFile);
trtModelFile.write((char *)trtModelStream->data(), trtModelStream->size());
trtModelFile.close();
runtime = createInferRuntime(*pLogger);
engine = runtime->deserializeCudaEngine(trtModelStream->data(), trtModelStream->size(), NULL);
trtModelStream->destroy();
然后反序列这样写的
string cacheFile = netWorkName + ".cache";
ifstream trtModelFile(cacheFile);
trtModelFile.seekg(0, ios::end);
size = trtModelFile.tellg();
trtModelFile.seekg(0, ios::beg);
char * buff = new char [size];
trtModelFile.read(buff, size);
trtModelFile.close();
runtime = createInferRuntime(*pLogger);
engine = runtime->deserializeCudaEngine((void *)buff, size, NULL);
delete buff;
怎么看这段代码代码都没问题啊,怎么会反序列化出错呢。
后面调试一下发现,write的size和read的size居然不是一样大的。
太坑了,原来为了保证ofstream和ifstream的大小完全一致,一定保证写入和读取都是二进制形式,即是改成这样
ofstream trtModelFile(cacheFile, std::ios_base::out | std::ios_base::binary);
ifstream trtModelFile(cacheFile, std::ios_base::in | std::ios_base::binary);