SeMask: Semantically Masked Transformers for Semantic Segmentation

论文原文：https://arxiv.org/abs/2112.12782

源码链接：https://github.com/PicsartAI-Research/SeMask-Segmentation

---

导读与概述#

在图像 Transformer 网络的编码器部分对预训练的主干进行微调一直是语义分割任务的传统方法。然而，这种方法忽略了图像在编码阶段提供的语义上下文。在论文中，作者认为将图像的语义信息纳入预训练的基于分层 Transformer 的骨干网，同时进行微调，可以大大改善性能。

为此，提出 SeMask，一个简单而有效的框架，在语义注意操作的帮助下将语义信息纳入编码器。此外，在训练期间使用一个轻量级的语义解码器，在每个阶段为中间的语义先验图提供监督。

实验表明，纳入语义先验增强了已建立的分层编码器的性能，但FLOPs的数量略有增加。通过将SeMask集成到 Swin-Transformer 的每个变体中，作为编码器与不同的解码器配对，来提供经验证明。该框架在 ADE20K 数据集上实现了 58.22% 的 mIoU，在 Cityscapes 数据集上实现了超过 3% 的 mIoU 指标的改进。 ##