Asymmetric Non-Local Neural Networks for Semantic Segmentation 非对称注意力

Asymmetric Non-Local Neural Networks for Semantic Segmentation

* Authors: [[Zhen Zhu]], [[Mengdu Xu]], [[Song Bai]], [[Tengteng Huang]], [[Xiang Bai]]

• DOI: 10.1109/ICCV.2019.00068

---

初读印象

comment:: (A Nonlocal)提出非对称非本地神经网络，包含非对称金字塔非本地块(APNB)和非对称融合非本地块(AFNB)。APNB可以减少运算量。AFNB融合不同级别的特征。

Why

卷积无法捕捉长距离依赖。nonlocal耗费计算资源。

What

只要key分支和value分支的尺寸一样，输出尺寸就不会变化。所以只要在key分支和value分支中只采样几个重要的点，就能在不牺牲性能的前提下节省计算资源。
###How

动机

减少key向量和value向量的数量，就能大大减少矩阵运算的计算量。
前：

后：
减少这两个向量的数量，可以看作只从原特征图中采样了几个重要的点。#### 解决方法

原注意力机制产生的三个张量：

使用两个采样模块对其进行采样，使${\theta }_P$和${\gamma }_P$都是$\text{tildeC}\times S$的矩阵。

产生相似度矩阵(N×S)：
$V_P$正则化后，产生注意力矩阵：

最终输出是$O_P$经过1×1卷积再与输入拼接：
####Asymmetric Pyramid Non-local Block
将向量数量减少到S的确显著减少了计算量，但是如何选择S的大小？是否会因为信息丢失导致性能下降？为了解决这些问题，引入金字塔模块以增强全局表示。

在$\theta$和$\gamma$后多个平均池化层，每个池化层的输出尺寸是$n\times n$，则最后得到的S大小为：

用池化得到的向量进行注意力运算。

Asymmetric Fusion Non-local Block

AFNB需要输入两个图：高层特征图和底层特征图。

同样，$O_F$也要经过经过1×1卷积再与输入拼接。

####网络总体架构

backbone:ResNet-101，最后两个stage不下采样并使用膨胀卷积。
使用AFNB融合stage4和stage5的输出，然后将其输入至APNB计算注意力。

Experiment

网络细节

辅助损失：stage4后有一个分支损失函数($\lambda =0.4$)

学习率策略：SGD，poly
初始学习率：0.01 for Cityscapes and PASCAL Context and 0.02 for ADE20K
数据增强：随机缩放(0.5-2.0),随机翻转，随机亮度。
batchsize:8 in Cityscapes experiments and 16 in the other datasets.

效率比较

单个模块的效率比较

整个网络的效率比较，尽管推理时间和参数数量大于DenseAspp，但GPU存储器职业显然较小。

性能比较

####消融实验

• 在FCN-like ResNet-101上增加各种模块。

Conclusion

减少了non-local中key和value向量的数量以减少运算量。同时又使用了金字塔池化结构来弥补损失的性能。在此基础上，还以注意力的形式融合了resnet中stage4和stage5之间的多尺度信息。
如果说EMANet是故事讲的有理有据，这篇就是缝合的天衣无缝，在某种程度上，是更适合模仿的论文。