opencv调用Onnx模型常见问题
以下都是pytorch模型转换为onnx，然后利用opencv中dnn模块的readNetFromONNX()函数调用后出现的一些问题， 利用onnxruntime库已经验证onnx结果正确。
相关环境
python: 3.7.4
torch: 1.5.0
onnx: 1.10.2
onnxruntime: 1.9.0
一、permute_layer.cpp:138: error: (-215:Assertion failed) (int)_numAxes == inputs[0].size()
出错原因
opencv版本：4.5.3
在网络结构中有一层res = xyz.permute(0, 2, 1) # xyz==> (B, N, C)是对三维数据进行维度变换，cv.dnn目前好像不支持。详细代码可以参考提的issue#21211
参考#19091说的好像是当前python-opencv会自动把三维输入的第三维转换为彩图的通道数。
尝试解决办法
考虑先用tensor.view或者tensor.unsqueeze(0)增加一个维度，操作完再用tensor.view或者tensor.squeeze(0)变换为原来的维度。
有兴趣的可参考#17272尝试其他方法
二、Unspecified error: Can't create layer "layer_name" of type "Cast" in function getLayerInstance
出错原因
opencv版本：4.2.0
不支持Cast算子
解决办法
- 升级opencv版本4.3.0以上
- 自定义算子 参考https://docs.opencv.org/4.x/dc/db1/tutorial_dnn_custom_layers.html
三、Unspecified error: Can't create layer "82" of type "ConstantOfShape" in function 'getLayerInstance'
出错原因
opencv版本：4.2.0
不支持ConstantOfShape算子
解决办法
- 升级opencv版本4.3.0以上
- 自定义算子 参考https://docs.opencv.org/4.x/dc/db1/tutorial_dnn_custom_layers.html
四、onnx_importer.cpp:2146: error: (-2:Unspecified error)
完整错误
cv2.error: OpenCV(4.5.3) C:\Users\runneradmin\AppData\Local\Temp\pip-req-build-c2l3r8zm\opencv\modules\dnn\src\onnx\onnx_importer.cpp:2146: error: (-2:Unspecified error) in function 'cv::dnn::dnn4_v20210608::ONNXImporter::handleNode'
> Node [ConstantOfShape]:(203) parse error: OpenCV(4.5.3) C:\Users\runneradmin\AppData\Local\Temp\pip-req-build-c2l3r8zm\opencv\modules\dnn\src\onnx\onnx_importer.cpp:1833: error: (-2:Unspecified error) in function 'void __cdecl cv::dnn::dnn4_v20210608::ONNXImporter::handleNode(const class opencv_onnx::NodeProto &)'
> > (expected: 'inpShape[i] > 0'), where
> > 'inpShape[i]' is 0
> > must be greater than
> > '0' is 0
>
出错原因
opencv版本：4.5.3
在网络结构中有一层B, N, C = inputs.shape torch.zeros(B, C, dtype=torch.long, device=device)是根据已有维度B,C生成一个相同维度的全零tensor, cv.dnn调用的时候shape返回的是tensor，在生成的时候本来应该传入int，这里会导致错误。
解决办法
把维度数加上int(), 强制转换为int整数。
torch.zeros(int(B), int(C), dtype=torch.long, device=device)
五、Unspecified error: Can't create layer "82" of type "ArgMax" in function 'getLayerInstance'
出错原因
opencv版本：4.5.3
不支持ArgMax算子
解决办法
- 自定义算子 参考https://docs.opencv.org/4.x/dc/db1/tutorial_dnn_custom_layers.html
class ArgMaxLayer(object):
def __init__(self, params, blobs):
print("params: ", params)
self.axis = params["axis"]
self.dim = None
# Our layer receives one inputs. We need to find the max
def getMemoryShapes(self, inputs):
print("memory shape", inputs)
out_dim = []
input_dim = inputs[0]
for i in range(len(input_dim)):
if i != self.axis:
out_dim.append(input_dim[i])
self.dim = out_dim
return [out_dim]
def forward(self, inputs):
data = inputs[0]
print("inputs-: ", type(data), data.dtype)
print("axis: ", self.axis)
res = np.argmax(data, axis=self.axis)
# shape = data.shape
# print("shape: ", shape)
# res = np.random.randint(0, shape[self.axis], tuple(self.dim), dtype=np.longlong)
print(res, res.shape, res.dtype)
return [res.astype(np.float32)]
cv2.dnn_registerLayer('ArgMax', ArgMaxLayer)
- 参考官网最新修改，https://github.com/opencv/opencv/pull/20733/files ，自己重新编译生成opencv
六、error: (-215:Assertion failed) pyOutputs[i].size == outputs[i].size in function 'pycvLayer::forward'
我自定义算子时出现过这种情况，首先检查自定义层中forward函数返回值的维度是否和getMemoryShapes中一致, 则检查下是否遇到以下巨坑：
检查输出维度是否为3维，如果是则可以先把输出（输入）升维，外部调用获取结果后再降维。
七、error: (-215:Assertion failed) pyOutputs[i].type() == outputs[i].type() in function 'pycvLayer::forward'
我自定义算子时出现过这种情况，自定义层中forward函数返回值类型必须是float32。
