可见光遥感目标检测（二）主要难点与研究方法概述

前言可见光遥感图像目标检测属于计算机视觉下面目标检测的重要分支，其具有常规目标检测的普遍性问题，又具有遥感图像目标检测的特殊性问题，针对遥感图像的特殊性问题与普遍性问题在目标检测的通用框架下做出改变与优化，以解决遥感图像目标检测的特殊性与普遍性问题。首先需要明确通用目标检测框架的部分构成，以便于后续在遥感图像检测问题明确哪部分做出改变，改变的地方怎么用在模型之中，做到提纲挈领，熟稔于心。

本教程禁止转载。同时，本教程来自知识星球【CV技术指南】更多技术教程，可加入星球学习。

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

【CV技术指南】CV全栈指导班、基础入门班、论文指导班全面上线!!

需要先验知识

1.1、通用目标检测框架构成

图1 目标检测框架图

现代目标检测框架主要由三个部分组成：

Backbone:主干网络，用来提取图像特征，广泛应用的网络如Resnet50、Resnet101系列，DenseNet，VGG等等。
Neck:主要用于进行特征融合等操作，如FPN，PAN及其各种变体。
Head:预测头，输入backbone和Neck提取的特征最终得到检测结果。

检测器又可以分为单阶段，两阶段、多阶段检测器，也可以分为anchor-based,anchor-free以及transfomer系列query-based等等，在这里不做展开。

1.2、优化思路

根据目标检测框架图，它的优化模型思路也比较清晰了：

想办法提高模型提取特征的能力，使用更加强力的Backbone，比如ResNext，Res2Net等等。
在Neck层想更多拌饭，考虑更加高效的融合特征，也就有了FPN的各种变种，PAN,Bifpn甚至采用NAS的思路搜索一个最佳的特征融合方案。
Label Assignment优化，我们知道在目标检测中一个很关键的问题在于如何平衡网络学习的正负例样本，如何选择好的正样本，这些都是Label Assignment方向做的事情。
损失函数上的优化，这一部分在不仅仅是目标检测，在不同任务领域都是重中之重，比如平衡正负例样本，难易例样本的Focal loss,比如考虑用任意分布来做回归的GFL等等，面对不同的问题，我们需要设计更贴合实际的损失函数。

主要研究难点

上面讲到了通用目标检测的基本框架和一些常用的优化思路，下面我们一起来看看可见光遥感目标检测中都有哪些难点，它和通用目标检测都有哪些方面的不同。

1、旋转目标的检测问题，一直都是遥感图像目标检测的重要解决的问题。以前基于水平框的方法无法精确的包围遥感图像，所以提议生成带角度的旋转框来包围遥感图像。图2说明了生成旋转框的必要性。

图2 水平框与旋转框的效果对比

在处理旋转目标的检测问题时候，主要的思路是：1、旋转等变检测器，用来提取旋转不变特征，属于特征提取阶段。2、特征精细化模块，用于特征对齐，属于Head阶段的改进。3、自适应点来学习非轴向特征与任意方向特征，属于特征提取阶段。4、将水平关键点检测用到旋转关键点检测，去除锚框设置，属于Head部分改进。5、设计新的损失函数，属于反向传播优化参数阶段。 2、高纵横比问题，这个问题集中体现在遥感图像中船只的检测上面。因为船只属于瘦长目标，所以当角度发生很小的变化时，其包围框的变化是非常剧烈的。图3展示了高纵横比检测的特殊性。

图3 舰船检测的特殊性

在处理舰船这种高纵横比的问题上，主要思路是：1、中心点提取，通过关键点来定位舰船中心，属于Head部分改进。2、根据对象的形状信息和特征分布动态选择样本，属于特征提取部分的改进。3、累积特征金字塔，用来增强在各个尺度的语义信息，属于Neck部分改进。3、小目标的检测问题，小目标的检测问题不属于遥感图像特有的检测问题，属于目标检测的普遍性的问题，主要是由于小目标提供的像素点信息较少，无法提取到鲁棒性的特征。图4,展示了遥感目标检测的小目标问题。

图4 小目标检测问题

在处理小目标的检测问题上，主要的思路是：1、对于提取到的特征分配不同的重加权模块，属于特征提取阶段。2、基于接受区域的标签分配策略，属于Head部分改进。

4、复杂背景问题，由于遥感图像的视角开阔，得到的图像的尺寸往往大于一般的图像，这就使得图像里面的前景信息与背景信息极度不平衡，造成模型学习不到优质的前景信息。还会造成目标的重叠遮挡等问题，这就使得包围框的生成是不够准确的。图五展示了遥感图像中复杂的背景问题。

图5 复杂背景问题

在处理复杂背景的题上，主要的思路是：1、提出像素级别损失函数，更精确计算IoU面积，属于反向传播优化参数阶段.2、提出学习凸包特征方法，属于特征提取阶段。

5、密集物体检测，密集物体检测也不属于遥感图像专有的问题，密集的物体不利于包围框的生成，造成定位的不准确。图6展示遥感图像中密集物体检测问题。

图6 密集物体检测问题

在处理密集物体检测问题上，主要的思路是：提出新的角度标签编码策略，根据标签来设定新的损失函数，属于反向传播优化参数阶段.

6、遥感图像目标检测的新范式，由于Transormers的横空出世，把cv问题转变为了CNN与Transormers各占据半壁江山，现在也有很多用Transormers来做遥感图像目标检测，并且也取得了不错的效果，Transormers主要的有点是能够学习到图片的全局特征，但是其缺点是需要大量的数据才能够表现出最佳的性能。Transormers与CNN到底鹿死谁手，我们只能拭目以待。

后续的文章我会带大家从上面说到的遥感目标检测面临的实际问题以及不同的解决思路出发，以近年的主要论文为主，详细为大家介绍遥感目标检测~

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

计算机视觉入门1v3辅导班

【技术文档】《从零搭建pytorch模型教程》122页PDF下载

QQ交流群：470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。

其它文章

穿越时空的智慧：经得起时间考验的深度学习理念

一次性分割一切，比SAM更强，华人团队的通用分割模型SEEM来了

目标检测中的框位置优化总结

CVPR'23｜向CLIP学习预训练跨模态！简单高效的零样本参考图像分割方法

大模型微调项目 / 数据集调研汇总

CVPR23 Highlight｜拥有top-down attention能力的vision transformer