Weakly Alignment-Free RGBT Salient Object Detection With Deep Correlation Network

Weakly Alignment-Free RGBT Salient Object Detection With Deep Correlation Network

2022-07-23 19:27:08

Paper: IEEE Xplore Full-Text PDF: 

 

1. Background and Motivation: 

 

 

本文旨在设计一种新的 非配准条件下的多模态显著性检测问题。

 

2. Proposed Approach 

  

 

如上图所示，给定 rgb 和 thermal 数据，作者首先用 VGG  网络提取其特征，然后得到四个 block 的不同尺度的 feature map。

 

然后作者设计了新的模态对齐模块（Modality-Alignment Module），如下图所示：

 

作者这里进入了 STN network，即空间变换网络来实现空间上的对齐。

1). 该模块接收 rgb 和 thermal feature 为输入，然后学习一个空间变换矩阵，实现平移、旋转、剪切和缩放等功能。在学习得到该变换矩阵后，对红外模态进行调整；

2). 作者也对输入进行了特征级别的调整，即：利用卷积模块对 thermal 特征学习，得到两组参数 \alpha, \beta, 然后对特征图就行 仿射变换；

3). 第三个分支就是利用动态卷积的思想，将某一个模态特征作为输入，学习出一个 online 卷积核，然后在另外一个模态上进行卷积操作，达到两个模态进行交互的目的。具体过程如下所示：

 

 

然后作者拓展了 ConvLSTM 模型来处理 多模态融合。

 

 

 

 

==