DeepLab V3论文阅读笔记
DeepLab V3
这是2017年发表在CVPR上的文章。相比于V2而言,主要不同之处有三个:引入了Multi-grid、改进了ASPP结构、移除CRFs后处理。
解决多尺度问题的几种办法:
在DeepLab V3中作者提出了两种结构:cascaded model以及ASPP model:
DeepLabV3的几个模块与ResNet50的conv层相对应。
在cascaded模型中,其还增加了block5、6以及7,其与block4基本相同,只是采用了不同的膨胀系数。对于block3,只在训练的时候进行下采样,这样可以让训练时的batch size变大,同时可以加快推理速度。同时如果验证时仍然在block3下采样到16倍的话效果会差一些。现在可以直接下采样到8倍,因为设备的显存增大了。
对于ASPP model,主要看ASPP这个模块。
在V2的ASPP模块中每个空洞卷积后没有BN和ReLU,这四个分支上的输出相加之后就直接上采样还原到原图大小了。上图的膨胀系数翻倍的原因是作者在原论文中提到如果下采样到8倍的话膨胀系数需要翻倍。同时在全局池化层后需要用1*1卷积来调整channel。
multi-grid
ASPP model没有block567,因此对于cascaded model使用(1, 2, 1),对于ASPP model使用(1, 2, 4)。
训练细节: