【论文笔记】FarSeg++：用于高空间分辨率遥感图像地理空间对象分割的前景感知关系网络
| 论文来源 | IEEE Transactions on Pattern Analysis and Machine Intelligence |
|---|---|
| 作者 | Zhuo Zheng; Yanfei Zhong; Junjue Wang等 |
| 发表年代 | 2023 |
| 使用方法 | 多分支金字塔编码、前景-场景关系、前景感知解码、前景感知优化 |
| 期刊层次 | CCF A；计算机科学1区；IF 23.6 |
原文链接：
要解决什么问题？
- 高分遥感图像面临三大问题
（1）尺度变化
（2）较大的背景类内变化
（3）前景-背景不平衡 - 通用的语义分割方法只关注尺度变化，忽略假警报和前景-背景不平衡问题
提出的方法：
- 关系的角度：前景-场景关系模块
（1）学习场景和前景之间的共生关系，获得前景相关上下文
（2）提高前景特征，减轻误警报问题 - 优化的角度：前景感知优化
抑制背景中的大量简单样本，减轻前景-背景不平衡问题 - 对象性的角度：前景感知解码器
采用辅助对象性解码器来改进对象性表示，并且可以在训练后丢弃
具体的结构：
1. FarSeg++的整体结构
2. 多分支编码器
- 通过自上而下的路径和横向连接，可以增强浅层的高空间细节和深层的强语义特征图，这有助于恢复对象的细节和多尺度上下文建模。
- C6是通过全局上下文聚合（全局平均池化）得到的地理空间场景特征
3. 前景场景关系模块
为了解决假警报问题，通过与物景关系相关的前景相关上下文来增强对前景特征的识别。
主要思想：潜在的地理空间场景空间是上下文和场景之间的桥梁。同时，上下文特征可以增强前景特征。
4. 前景感知解码器
（1）基本轻量解码器：以轻量级的方式从前景-场景关系模块恢复关系增强的语义特征图的空间分辨率。
（2）改进FarSeg的经验上界分析：表明在改进的FarSeg中应该进一步考虑丢失对象问题
（3）双任务解码器：额外引入辅助对象性解码器来预测每一个像素的对象性得分
5. 前景感知优化
关注前景的网络和背景中的困难样本，来实现平衡的优化
（1）困难样本评估：通过获得样本困难程度的权重，来调整逐像素损失的分布
（2）动态加权：缓解早期训练中因为困难样本评估不确定而导致的不稳定性
（3）反向传播
6. UV6K:一个城市汽车分割数据集
实验
