【ACMMM2024】Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection

论文：https://arxiv.org/pdf/2408.04326

代码：https://github.com/BellyBeauty/MDSAM

论文的研究动机就是使用SAM来解决显著性检测（SOD）问题，主要有两个改进：

• 提出了Lightweight Multi-Scale Adapter, LMSA来微调SAM
• 提出了Multi-Level Fusion Module, MLFM 和 Detail Enhancement Module, DEM，分别改善了SAM在多尺度和细粒度感知方面的性能。

网络的整体架构如下图所示，关键模块是标红的部分，下面分别进行介绍。

1、Lightweight Multi-Scale Adapter，LMSA

作者认为，SAM编码器的参数过多，同时 SOD训练数据不足会影响网络的全面微调，因此，使用Adaptor可以让SAM应用于SOD，同时，应用多尺度特征提取能够提升性能。LMSA结构如下图所示，本质上就是在 Adpator 里把特征池化成多个尺度分别处理。

2、Multi-Level Fusion Module, MLFM

在 SAM 的 encoder 中，每一层都包含不同的信息，因此多层信息融合对于 SOD 来说是必要的。如下图所示，作者提出的 MLFM 使用 Weight Distributors（WD）生成 weight 并将它们分配给不同的层。

3、Detail Enhancement Module， DEM

为了增强边缘细节信息，作者又提出了DEM，具体结构如下图所示。包含一个主分支和一个辅助分支。下图中下面是主分支，输入分别是VIT的特征 \(F^d\) 和 SAM 中 decoder 生成的 mask \(F^m\)。上面是辅助分支的输入是原始图像，本质是通过不断池化，和输入做差的方式得到 edge enhancement，得到的结果再和主分支进行特征拼接。

实验部分可以参考作者论文，这里不过多介绍。