【论文笔记】用于遥感图像语义分割的几何边缘指导特征融合与空间-语义上下文聚合技术

作者: Yupei Wang
发表年代: 2023
使用的方法: 边缘指导、上下文聚合
来源: IEEE TIP
方向: 语义分割
期刊层次: CCF A；计算机科学1区；IF 13.3

文献链接：

https://doi.org/10.1109/TIP.2023.3326400
Wang Y, Zhang H, Hu Y, et al. Geometric boundary guided feature fusion and spatial-semantic context aggregation for semantic segmentation of remote sensing images[J]. IEEE Transactions on Image Processing, 2023.

摘要：

要解决什么问题？

（1）目前的方法将多级特征融合和边界引导视为两个独立的任务，导致了次优解。
（2）遥感图像类内差异大、类间可分性低，目前的方法往往无法准确地聚合长程上下文线索。

工作：

（1）边界指导多级特征融合模块：将边界引导无缝地结合到多级特征融合操作中。
（2）基于几何相似性的边界损失函数：进一步有效地加强边界指导。
（3）基于通道相关性的空间语义上下文聚合模块：有效地聚合上下文线索。
（4）再在 ISPRS Vaihingen 和高分二号数据集上进行的大量定性和定量实验结果证明了该方法的有效性。

网络结构：

1. 网络整体结构

『边缘指导的多级特征融合』和『通道相关性指导的空间-语义上下文聚合』

2. 边界指导的多级特征融合模块

该模块下面有 2 个子模块：边界感知特征学习和边界指导特征融合。

边界感知特征学习：有监督，边缘标签。把主干网络的特征融合到一起，和边缘正确标注（ground truth edge）
边界指导特征融合：将多级边界感知特征与主干的最高级特征融合。
$x_{i} \in R^{C_{i} \times H_{i} \times W_{i}}, i = 1, 2, 3, 4$ 是主干网络的第 $i$ 层特征
$F_{e_{i}}$ 表示第 $i$ 个阶段的元素总和，它在 ground truth edge 的监督下学习边界特征
${\hat{F}}_{e d g e} \in R^{C_{B} \times H_{B} \times W_{B}}$ 边界感知特征 $reshape \to$ $M^{C_{B} \times N_{B}}, N_{B} = H_{B} \times W_{B}$
像素相关系数矩阵：
3D 特征 $x_{4}$ 经 $1 \times 1 Conv$ 变成 2D 特征 $x_{4}^{'}$ ，边界感知特征 $F_{E A}$ 中的每个元素是增强的边缘感知特征和高级语义特征的相关值。
在计算 $F_{B F F}$ 时，引入原始特征 $x_{4}$ ，一定程度上补偿了特征信息的损失

$L_{G E O} + L_{e d g e_C E} = L_{e d g e}$ 约束边界感知特征的学习

$L_{s e g}$ 监督分割预测的学习

3. 通道相关性指导的空间语义上下文聚合

空间上下文矩阵 $M_{S C}$ ：在通道语义相关性的监督下，空间上下文的聚合可以通过空间像素和语义类别之间的交互来实现
3D 重新校准矩阵 $F_{S S}$ 的每个元素都是指空间域中的像素空间上下文和语义类别维度中的通道相关性得分之间的聚合空间语义上下文，从而实现有效的空间语义上下文聚合。
训练损失： $L_{s e g}$ 监督分割预测， $L_{e d g e}$ 监督边缘预测。 $λ_{1} = 1, λ_{2} = 30, λ_{3} = 5$