CBAM: Convolutional Block Attention Module

CBAM: Convolutional Block Attention Module

* Authors: [[Sanghyun Woo]], [[Jongchan Park]], [[Joon-Young Lee]], [[In So Kweon]]

• doi:https://doi.org/10.48550/arXiv.1807.06521

初读印象

comment:: (CBAM)提出了卷积块注意力模块。沿着空间和通道推断注意力特征，然后将注意力特征乘到输入特征图上获得自适应特征细化。

Why

提升卷积性能的四个方向：

1. 深度：LeNet、VGGNet、ResNet

2. 广度：GoogLeNet
   

3. 基数：Xception、ResNeXt
   

4. 注意力：注意力不但能够告诉哪里应该注意，也增强了特征表示。本篇文章更加注重于用注意力增强特征表示：集中于重要的特征、压缩不必要的特征。其他注意力工作：Residual Attention Network，SEBlock([[@Hu2019]],通道间使用平均池化是次优特征，没有使用空间注意力)

What

提出了CBAM，为了能够获得通道和空间上的注意力，分别沿着两个方向做注意力（而非直接计算3D注意力，优点是计算量小）。

###How

CBAM

CBAM依次推断1D通道注意力特征$M_C(C\times 1\times 1)$和2D空间注意力特征$M_S(1\times H\times W)$

其中$⨂$为元素乘法（维度不同采用广播）。

通道注意力模块

利用通道间的关系生成通道注意力关系特征，通道注意力解决输入图像是“什么”的问题。

1. 同时使用最大池化和平均池化分别产生$F_{max}^c$和$F_{max}^c$
2. $F_{max}^c$和$F_{max}^c$分别经过含一个隐藏层的多层感知机（类似SEblock中，也是用了一个压缩系数r）。该感知机的参数是共享的，隐藏层中使用了ReLU。
3. 元素级相加$F_{max}^c$和$F_{max}^c$，使用sigmoid。

空间注意力模块

使用特征间的空间关系生成空间注意力映射。空间注意力侧重于“哪里”。

1. 分别沿着通道做最大池化和平均池化，$F_{max}^s(1\times H\times W)$和$F_{max}^s(1\times H\times W)$。
2. 拼接$F_{max}^s$和$F_{max}^s$。
3. 7×7卷积并sigmoid。

Experiment

将CBAM嵌入到ResNet：
*注意力通道使用何种池化，一起用更好

• 空间注意力用什么池化
  *

• Grad-CAM可视化
  

Conclusion

同时使用了通道注意力和空间注意力，其中通道注意力和SE很像，能够适配其他网络。增加的计算量比较少，可以用于低端设备。