《 Weakly Supervised Instance Segmentation using Class Peak Response 》 论文解读

 3. 方法

我们提出了一种图片级别监督的实例分割技术，使用类别极值响应。在全卷积之后的卷积神经网络分类器可以生成类别响应图CRM，在每一个像素点进行概率的分类判断。由我们对局部极大值点的观察，例如CRM的极值点总是对应于实例内部的强烈视觉特征，我们首先设计了一种算法，在网络的训练阶段去刺激极值点出现在CRM中。推理阶段时，已确定的极值点会反向传播去产生每一个实例的高信息区域，称为PRMs（Peak Response Maps），PRM提供具有良好细节的有关每一个实例的代表，进一步会生成分割掩码，

3.1全卷积结构

通过直接去除全局池化层，将全连接层变为1*1卷积层，现代神经网络分类器就变成了全卷积网络，在前向传播中保留着空间信息，第一步是变为全卷积网络。

3.2极值优化

我们设计了极值优化层在最后一层之后，使极值在类别相应图中出现。考虑一个正常网络， $M \in\Re ^(C\times H\times M )$ 代表最上层的输出类别激活图，C是类别的个数。因此，输入极值优化层的是M，输出的是类别感知分数$s\in\Re^C$ 。$M^c$中的极值是边长为 r的窗口区域内的极大值， 极大值的坐标记为 $P^c={(i_1,j_1),(i_2,j_2)}$ ,总数目是$N^c$,在前向传播时，一个简单的核 $G^c\in\Re^(H \times W)$用来计算目标的分类分数，在（x，y）的核元素被记为$G^c_(x,y)$ ,与大多数损失形式不同，核被记为 其中f是一个 dirac delta函数，用来只在极值点产生元素。 （ps，这段公式我看了好几遍，TMD就是极值点取1，其他地方取0，这个公式是为了数学上的严谨性还是故弄玄虚？）

3.1全卷积结构

 

3.1全卷积结构