遥感全景锐化的内容自适应非局部卷积

遥感全景锐化的内容自适应非局部卷积

    目前，基于机器学习的遥感泛变方法发展迅速。然而，现有的pansharpening方法往往没有充分利用非局部空间中的区分区域信息，从而限制了方法的有效性，并导致冗余的学习参数。介绍了一种所谓的内容自适应非局部卷积（CANConv），这是一种专为遥感图像泛变而设计的新方法。具体来说，CANConv采用自适应卷积，确保空间适应性，并通过相似关系划分（SRP）和分段自适应卷积（PWAC）子模块引入非局部自相似性。此外，还提出了一种相应的网络架构，称为CANNet，主要利用多尺度自相似性。大量实验表明，与最近有前景的融合方法相比，CANConv具有优越的性能。此外，通过可视化、消融实验以及在多个测试集上与现有方法的比较来证实该方法的有效性。

    与自适应性和非局部性相关的四种卷积方法的总体工作，如图4-25所示。

 

图4-25  与自适应性和非局部性相关的四种卷积方法的总体工作

在图4-25中，（a）为全局自适应/标准卷积，（b）为空间自适应卷积，（c）为图形卷积，（d）为改进的方法。

    CANConv模块的整体工作流程如图4-26所示。

 

图4-26  CANConv模块的整体工作流程

在图4-26中，CANConv由两个子模块组成：相似关系划分（SRP）和分区自适应卷积（PWAC）。在SRP中，展开并缩减输入特征图以获得用于聚类的样本。PWAC分别应用于SRP区分的每个集群。该图演示了PWAC如何自适应地为特征图中的单个聚类生成卷积核和偏差。