深度学习中的动态Shape
一、概念
- 静态Shape:指在网络执行阶段Tensor的shape没有发生变化;
- 动态Shape:指在网络执行阶段Tensor的shape发生变化。
二、动态shape引起的原因
- 输入shape不固定;
- 网络执行过程中有引发shape变化的API;
- 控制流不同分支引入shape上的变化。
三、规避策略
- 可以在输入数据上加pad,pad到固定的shape。如deep_speechv2的数据处理 规定input_length的最大长度,短的补0,长的随机截断,但是注意这种方法可能会影响训练的精度,需要平衡训练精度和训练性能;
- 可以设置一组固定的输入shape,将输入分别处理成几个固定的尺度。如YOLOv3_darknet53的数据处理,在batch方法加处理函数multi_scale_trans,在其中MultiScaleTrans中随机选取一个shape进行处理;
- 构造mask来过滤掉无效的位置的值。