【NeurIPS2022】Cross Aggregation Transformer for Image Restoration

【NeurIPS2022】Cross Aggregation Transformer for Image Restoration

研究动机：当前方法 Transformer 方法把图像分成8x8的小块处理，the square window lacks inter-window interaction, leading to the slow increase of the receptive field。同时，the channel-wise attention mechanism may lose some spatial information。影响了 Transformer 方法在图像修复里的应用。

为此，作者提出了 Cross Aggregation Transformer，架构如下图所示，主干网络为RCAN（超分辨率中用的非常多的网络），中间是多个 CAT block 的堆叠。CAT block 的核心是作者提出的注意力机制：Rectangle-Window Self-Attention（Rwin-SA）。

1、 Rectangle-Window Self-Attention

Rwin-SA如下图所示，使用的是矩形的窗口，而不是正方形的窗口。窗口的宽度和高度分别为 sw 和 sh。此外，还使用 axis-shift 实现窗口间信息的交互。

2、Locality Complementary Module

作者在计算注意力时，添加了一个独立的卷积运算，称为 Locality complementary module，如下图所示，其实就是在V上加了一个卷积，attention 的结果和 卷积融合。