【ACMMM2022】Structure-Inferred Bi-level Model for Underwater Image Enhancement

【ACMMM2022】Structure-Inferred Bi-level Model for Underwater Image Enhancement

代码：https://github.com/IntegralCoCo/SIBM （暂未开源）

该论文提出了一个 Structural-Inferred Bi-level Model (SIBM) 用于水下图像增强，集成了三种模态的知识：semantic domain, gradient domain, pixel domain. （非常奇怪，不清楚为什么题目要叫做 bi-level）

该方法框架如上图所示，包括三个分支：

• Semantic-based Foreground Branch (SFB)：这个分支主要学习目标区域，输入为 Multi-scale attention block，这个模块后面会介绍。比较好奇的是目标区域的mask是如何得到的，论文中用$\lambda_2$表示 ，说是超参数
• Underwater Pixel Branch (UPB)：这部分是一个比较典型的UNET结构，使用比较常见的L2损失和SSIM损失来优化。
• Gradient-based High-frequency Branch (GHB)：这部分是梯度优化，增强图像中的梯度信息，在图像增强里也比较常见。

Multi-scale Attention Block如下图所示，可以看出 attention 部分与 SENet 非常类似。不过，架构图中该模块应该是有三个输出，但这个模块图中只有一个输出，应该是作者不小心漏画了。

作者在合成和真实数据集上进行了实验，取得了非常好的效果。消融实验中，作者分析了三个分支的有效性，损失函数的有效性，尺度、边缘算子的有效性。其它的部分可以参考作者论文，这里不再多说。