RSpromoter：基于视觉模型的遥感实例分割提示学习

RSpromoter：基于视觉模型的遥感实例分割提示学习

摘要-利用来自SA-1B的大量训练数据，分段任意模型（SAM）展示了显著的泛化和零样本能力。然而，作为一种与类别无关的实例分割方法，SAM在很大程度上依赖于先前的手动指导，包括点、框和粗粒度掩码。此外，它在遥感图像分割任务中的性能在很大程度上仍未被探索和证实。在本文中，目标是开发一种基于基本SAM模型，并结合语义类别信息的遥感图像自动实例分割方法。从提示学习中获得灵感，提出了一种学习SAM适当提示生成的方法。这使SAM能够为遥感图像产生语义上可辨别的分割结果，称之为RSPrompter。还提出了一些正在进行的衍生工具，例如分割任务，利用SAM社区的最新进展，并将其与RSpromoter的性能进行比较。从WHU构建、NWPU VHR-10和SSDD数据集，获得的大量实验结果，验证了提出的方法的有效性。方法的代码可在上公开获取https://kyanchen.github.io/RSPrompter.

索引术语——遥感图像、基础模型、SAM、实例分割、即时学习。

 

 

 

 

参考文献链接

https://arxiv.org/pdf/2306.16269