【ACMMM2024】Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection
论文的研究动机就是使用SAM来解决显著性检测（SOD）问题，主要有两个改进：
- 提出了Lightweight Multi-Scale Adapter, LMSA来微调SAM
- 提出了Multi-Level Fusion Module, MLFM 和 Detail Enhancement Module, DEM，分别改善了SAM在多尺度和细粒度感知方面的性能。
网络的整体架构如下图所示，关键模块是标红的部分，下面分别进行介绍。
1、Lightweight Multi-Scale Adapter，LMSA
作者认为，SAM编码器的参数过多，同时 SOD训练数据不足会影响网络的全面微调，因此，使用Adaptor可以让SAM应用于SOD，同时，应用多尺度特征提取能够提升性能。LMSA结构如下图所示，本质上就是在 Adpator 里把特征池化成多个尺度分别处理。
2、Multi-Level Fusion Module, MLFM
在 SAM 的 encoder 中，每一层都包含不同的信息，因此多层信息融合对于 SOD 来说是必要的。如下图所示，作者提出的 MLFM 使用 Weight Distributors（WD）生成 weight 并将它们分配给不同的层。
3、Detail Enhancement Module， DEM
为了增强边缘细节信息，作者又提出了DEM，具体结构如下图所示。包含一个主分支和一个辅助分支。下图中下面是主分支，输入分别是VIT的特征 \(F^d\) 和 SAM 中 decoder 生成的 mask \(F^m\)。上面是辅助分支的输入是原始图像，本质是通过不断池化，和输入做差的方式得到 edge enhancement，得到的结果再和主分支进行特征拼接。
实验部分可以参考作者论文，这里不过多介绍。
