CCNet: Criss-Cross Attention for Semantic Segmentation

CCNet: Criss-Cross Attention for Semantic Segmentation

* Authors: [[Zilong Huang]], [[Xinggang Wang]], [[Yunchao Wei]], [[Lichao Huang]], [[Humphrey Shi]], [[Wenyu Liu]], [[Thomas S. Huang]]

---

初读印象

comment:: (CCNet)每个像素通过一个十字注意力模块捕获十字路径上的语义信息，通过多次重复操作，每个点最终能够获得整张图的信息。

Why

CNN不能捕获全局信息，注意力太费计算和存储资源。

What

将nonlocal中稠密连接(每个点之间都会连接)的图换成连续的多个稀疏连接的图。CCNet使用了两个交错的注意力模块，分布汇聚了水平方向和垂直方向的上下文信息。能把复杂度从$O(N^2)$降低到$O(N\sqrt{N})$
###How

网络总体架构

1. CNN的下采样倍率为8。
2. reduction。
3. 经过recurrent criss-cross attention (RCCA)模块：
   1. 第一个CC注意力模块，使每个像素都汇集其十字路线上的语义信息。
   2. 第二个CC注意力模块，每个像素获得了所有点的语义信息。(这两个CC注意力模块是共享参数的，)。
4. 拼接H''和X，经过多个卷积、BN、激活函数得到分割图。

Criss-Cross Attention

A

1. 输入$H\in R^{C\times H\times W}$
2. 使用$1\times 1$卷积得到Q和K特征图（Reduction）
3. 通过Affinity操作得到注意力图$A\in R^{(H\times W-1)\times (W\times H)}$:

   1. $Q_u\in R^{C^{\prime }}$是$Q$中一个像素上的向量，${\mathrm{\Omega }}_u\in R^{(H+W-1)\times C^{\prime }}$是$K$中与像素u同行同列的向量。

   2. ${\mathrm{\Omega }}_{i,u}\in R^{C^{\prime }}$是${\mathrm{\Omega }}_u$的第i个向量，$d_{i,u}$是$Q_u$和 ${\mathrm{\Omega }}_{i,u}$的相关度：
      

   3. 合并$d_u$得到D，经过softmax得到A
      

   4. 使用又一个$1\times 1$卷积得到V特征图(通道数仍为C)。从V中得到像素u十字路径上的特征向量矩阵${\mathrm{\Phi }}_u$，相乘得到$H_u^{\prime }$。
      

   5. 与输入矩阵H相加得到最终结果：
      ####Recurrent Criss-Cross Attention (RCCA)
      不在十字路径上的点（蓝色）到绿色点的信息流通路径。
      

类别一致性损失

将RCCA得到的特征图reduction后（一般通道数降低到16），使用了四种额外的损失：

1. ${\ell }_{seg}$:交叉熵损失
2. ${\ell }_{var}$:惩罚与相同类的特征向量过远的像素
3. ${\ell }_{dis}$:惩罚和不同类的特征向量过近的像素
4. ${\ell }_{reg}$:惩罚所有像素的平均特征向量与初始值过远的情况（类似于权重衰退的L2正则化？）

其中：* C是类别集合；

• $N_C$是属于c类的像素数；
• $h_i$是H矩阵中像素i的特征向量；
• ${\mu }_C$是C类的平均特征向量。
  最终损失为：
  

Experiment

网络细节

backbone：ResNet-101（去除最后两个stage的下采样，并换用空洞卷积）
学习率策略：SDG with mini-batch，poly（power=0.9）。动量(0.9),权重衰退(0.0001)
初始学习率：0.01for Cityscapes and ADE20K
数据增强： (pdf)

性能比较（Cityscapes）

####消融实验

RCCA

RCCA是有效的，但是当循环太多时，会浪费资源。

#####类别一致损失
损失值为NaN时代表训练失败，使用了CCL的训练成功率更高。

Conclusion

这篇文章总体思路应该和A Nonlocal是相同的，都是通过减少采样数量来降低运算量。不同的是，A Nonlocal是通过平均池化来采样，并融合了多尺度信息来弥补下降的精度，而CCNet是通过两次采样十字路径上的点来近似得到采样了所有点的效果。