空洞卷积 Dilated Convolution

空洞卷积

dilated convolution 多了一个 参数 称之为 dilation rate 指的是kernel的间隔数量(e.g. 正常的 convolution 是 dilatation rate 1)。

k = k+(d-1)*(k-1) k:卷积核的尺寸，d:dilation rate

空洞卷积作用：

扩大感受野：在CNN中为了增加感受野且降低计算量，总要进行降采样(pooling或s2/conv)，这样虽然可以增加感受野，但空间分辨率降低了。
为了能不丢失分辨率，且仍然扩大感受野，可以使用空洞卷积。（参考下面空洞卷积感受野的计算）。 这在检测，分割任务中十分有用。一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。
捕获多尺度上下文信息：空洞卷积有一个参数可以设置dilation rate，具体含义就是在卷积核中填充dilation rate-1个0，因此，当设置不同dilation rate时，感受野就会不一样，也即获取了多尺度信息。多尺度信息在视觉任务中相当重要啊。
从这里可以看出，空洞卷积可以任意扩大感受野，且不需要引入额外参数，但如果把分辨率增加了，算法整体计算量肯定会增加。

空洞卷积感受野如何计算
空洞卷积实际卷积核大小：
    K=k+(k-1)(d-1)，k为原始卷积核大小，d为空洞卷积参数空洞率；以三个r=2的k=3*3,s=1空洞卷积为例计算感受野：
   K=k+(k-1)(d-1)=3+2*1=5
   R=1+4+4+4=13 R:感受野
相当于三个kernel size=5的卷积核串联，如果步长设置为1的话，每两层的尺寸关系为xi+1 = s*(xi-1)+ki=1*(xi-1)+5=xi+4,因此可以得到通项公式，Xi=X0+i*4。因此对于三个卷积核有四个层，对应i=3，X0=1,所以是13