论文阅读：MSANet（2022-NeurIPS）

题目：Multi-Scale Adaptive Network for Single Image Denoising（NeurIPS-2022）

paper：https://arxiv.org/pdf/2203.04313

code：https://github.com/XLearning-SCU/2022-NeurIPS-MSANet

　　动机：多尺度架构在性能提升方面发挥重要作用。然而现有的方法设计网络架构时，一般都是直接将不同分辨率的特征输入到多个子网络，然后将输出结果融合在一起，只考虑尺度互补，而忽略了尺度内特征。浅层的高分辨率特征缺乏上下文信息，对输入敏感，包含大量噪声，并且包含丰富的图像几何信息，对恢复细粒度图像细节很关键；深层的低分辨率特征缺少几何信息，但是对噪声的鲁棒性更强，所含的上下文信息较多，因此对粗粒度图像上下文的恢复很关键。如果对不同尺度特征一视同仁，不考虑尺度特有的特征，就是忽略了尺度内特征。

　　中心思想：因为不同的尺度特征表现出不同的特性，发挥不同的作用，所以应该通过尺度特定的结构来处理。

　　创新：提出新的多尺度自适应网络（MSANet），可以同时将尺度内特征和跨尺度的互补性融合到网络设计中。

1）提出自适应特征块（AFeB），通过自适应采样处理带有大量细节和噪声的特征，使得在滤除噪声的同时更好的保留图像细节。

2）提出自适应多尺度块（AMB），采用不同感受野的卷积，自适应融合特征，赋予大感受野和多尺度信息。

3）提出自适应融合块（AFuB），自适应地从一个尺度对特征进行采样和转移，实现多尺度特征由粗到细的融合。

　　网络整体结构：

　　采用非对称编码器-子网-解码器架构。

　　编码器采用四个残差块来提取四个尺度的特征。

　　子网络通过AFeB和/或AMB来利用它们的尺度内特征，底层子网络需要处理高分辨特征，这些特征包含几何细节和噪声的混合，需要在去除噪声的同时不丢失细粒度图像细节（AFeB），并且需要大感受野和多尺度信息（AMB），所以交替对堆叠使用AFeB和AMB来构建底层子网。顶层子网络利用低分辨率特征的内尺度内特征，低分辨率特征几何信息短而上下文信息强，由于分辨率低会破坏上下文信息，需要在不降低分辨率的情况下分层增加感受野，自适应捕获多尺度信息，因此仅由AMB组成。中间的自网络采取折衷的方式。

　　解码器实现跨尺度互补，由四个AFuBs组成，前三个AFuBs将增加分辨率并减少通道，同时自适应地将细粒度的几何特征转移到粗粒度的上下文特征。最后一种AFuB将保持分辨率和通道不变，直接从有噪声的输入中传输几何细节，是一种有效的替代全局跳接的方法，可以避免从有噪声的输入中引入噪声。

　　AFeB：主要利用调制变形卷积来实现通过学习采样位置来指示恢复的重要位置。

　　AMB：为了在不改变分辨率的情况下增加感受野并捕获过尺度信息，使用不同膨胀率的卷积来捕获多尺度信息。并引入通道注意力可以自适应的扩展不同通道及功能。

　　AfuB：由于高分辨率特征包含大量无序的细粒度图像细节，而低分辨率特征包含丰富的粗粒度图像上下文信息，因此需要将细粒度图像细节转换为粗粒度图像上下文。与AFeB类似，利用调制变形卷积实现对特征的自适应采样和加权。

　　实验：