《Spectral Partitioning Residual Network With Spatial Attention Mechanism for Hyperspectral Image Classification》

论文作者：Xiangrong Zhang， Shouwang Shang， Xu Tang， et al.

论文发表年份：2021

模型简称：SPRN

发表期刊：IEEE Transactions on Geoscience and Remote Sensing

论文链接：Sci-Hub | Spectral Partitioning Residual Network With Spatial Attention Mechanism for Hyperspectral Image Classification. IEEE Transactions on Geoscience and Remote Sensing, 1–14 | 10.1109/tgrs.2021.3074196

 

Motivation

　　在进行PCA等降维方法时，HSI的辨别谱信息可能会丢失。光谱划分（SP）是一种替代策略，试图解决高光谱数据的维数问题，避免丢失任何有用信息。顾名思义，SP将原始谱带分割成若干组不重叠的连续子带。在SP操作之后，将特征提取（FE）或分类应用于每个组，并通过使用融合策略获得最终结果。SP的概念来自两个事实：物理特征和统计分析。光谱成像系统通常使用多个光谱仪，每个光谱仪产生一定波长范围内的信号，以产生完整的光谱信号。

　　基于相邻像素更有可能具有相同标签的假设，基于CNN的HSI分类框架的输入是一个大小为p×p×B的立方体，也称为由给定像素及其相邻像素形成的patch，其中p是预先给定的patch大小，B是谱带的数量。在通过CNN之后，获得标签，然后将其分配给输入patch的中心像素。CNN受益于大的输入patch大小，因为它涉及更多的空间信息；然而，大的patch可能包含其标签与补丁的中心像素不同的干扰像素，导致随着补丁大小的增加，分类精度下降。因此，为了减少这些干扰像素的影响，换句话说，要更多地关注那些与patch的中心相似的像素；空间注意机制已在最近的一些工作中引入到基于CNN的HSI分类中。为了进一步提高分类精度并缓解在选择大的输入patch大小时性能的下降，受先前工作的启发，提出了一种新的空间注意力模块，称为同质像素检测模块（HPDM）。HPDM能够基于中心像素的光谱特征捕获patch的同质像素。该模块可以集成到任何基于CNN的分类框架的头部，并与分类框架联合训练。

　　基于SP的HSI分类框架如图1所示，残差块的基本结构如图2所示：

 

Contribution

　　1） 构造了一种新的用于HSI分类的谱划分残差网络（SPRN）。SP策略用于沿光谱维度划分输入patch，并分别构建多个并行2-D-CNN来提取光谱特征。SPRN中的残差块通过添加额外的分支来改进，以便并行的CNN彼此连接。通过使用分组卷积，SPRN以易于实践的方式应用。

　　2） 根据实验，SPRN能够获得比基于2-D-CNN的HSI分类框架更好的性能，并且比基于3-D-CNN的分类框架更有效。

　　3） 提出了一种新的空间注意力块HPDM，以缓解在选择大patch大小时性能的下降。该模块可以集成到任何基于CNN的HSI分类框架的头部。

 

Method

　　在SPRN中，我们并没有真正构建这些并行的CNN；相反，我们使用分组卷积来实现等效的实现。此外，我们进一步开发剩余块，以便每个CNN能够在其内部层中与其它层进行通信。

　　1.分组卷积等价：图3（a）显示了并行2-D-CNN残差块的结构（仅显示卷积层），每个块属于一个子块。图3（b）和（c）显示了图3（a）的等效工具。图3（b）连接S个特征，以便可以在一个向量中应用相加。图3（c）显示，平行CNN相同深度的S个卷积层可以被一个2-D分组卷积层代替；组的数量等于S。此外，如果我们将分组卷积应用于输入patch，它将把输入通道分成具有相等通道宽度的S个组，这与SP操作的效果完全相同。因此，不需要为实现构建许多并行网络。我们用分组层替换所有卷积层。

　　2.改进的残差块包括两个分支：局部分支和全局分支。我们使用分组卷积来构造并行的神经网络。然而，这些并行神经网络独立地从某些子带中提取特征，这缺乏整个频带的全局信息。为了克服这些问题，我们改进了残差块。如图4所示（仅显示卷积层），改进的残差块包括两个分支：局部分支和全局分支。本地分支由两个分组卷积层构成，用于构建S个并行CNN。分组卷积从特定通道间隔中提取局部光谱特征。全局分支由用于从整个输入通道中提取全局光谱特征的两个正常卷积构建。通过加法将局部光谱特征和全局光谱特征融合。

 　　3.SPRN的完整和最终架构如图5所示。蓝色块使用分组卷积，而绿色块使用普通卷积。我们在所有卷积层中使用1×1的核大小。

　　4.同质像素检测模块（HPDM）：该模块生成一个注意力权重掩码，该掩码可以测量补丁中每个像素的重要性。考虑到中心像素在面片中起主导作用，我们通过计算中心像素与其他像素之间的相似度来获得权重掩码。光谱特征与中心像素相似的同质像素更有可能获得更高的分数，而干扰像素获得更低的分数。我们使用余弦相似性作为标准，这在HSI中也称为光谱角度。HPDM的完整结构如图6所示。我们首先应用1×1卷积将输入通道减少到B/2。然后，我们使用sigmoid函数来限制（0，1）中的值。计算中心像素与其相邻像素之间的余弦相似性以获得空间掩码Mc。最后，将掩码与原始输入patch相乘以产生修改的输入patch。HPDM中卷积层的参数被初始化为0，并且可以与框架中的其他阶段一起训练。

 

Experiment

　　对于Indian Pines数据集，5%的标记样本用于训练，5%用于验证，90%用于测试。对于Salinas和Pavia University，分别选择0.5%、0.5%和99%的标记样本进行培训、验证和测试。

 

Conclusion

　　本文提出了一种有效的HSI分类框架SPRN。SP操作和并行CNN通过使用分组卷积来实现。为了获得更好的分类性能，我们通过添加额外的分支来改进残差块。根据三个流行数据集的结果，我们的SPRN，轻量和高效，取得了最先进的结果，特别是在有限的训练样本下。在我们的方法中，谱带被划分为具有相等宽度的组。可以进一步探索自适应分区策略。此外，我们还提出了一个名为HPDM的新的空间注意力模块，该模块可以集成到任何基于CNN的HSI分类框架中。实验表明，该模块能够捕获输入块中的同质像素，并随着输入块大小的增加而减轻分类性能的下降。