《 Weakly Supervised Instance Segmentation using Class Peak Response 》 论文解读
3. 方法
我们提出了一种图片级别监督的实例分割技术,使用类别极值响应。在全卷积之后的卷积神经网络分类器可以生成类别响应图CRM,在每一个像素点进行概率的分类判断。由我们对局部极大值点的观察,例如CRM的极值点总是对应于实例内部的强烈视觉特征,我们首先设计了一种算法,在网络的训练阶段去刺激极值点出现在CRM中。推理阶段时,已确定的极值点会反向传播去产生每一个实例的高信息区域,称为PRMs(Peak Response Maps),PRM提供具有良好细节的有关每一个实例的代表,进一步会生成分割掩码,
3.1全卷积结构
通过直接去除全局池化层,将全连接层变为1*1卷积层,现代神经网络分类器就变成了全卷积网络,在前向传播中保留着空间信息,第一步是变为全卷积网络。
3.2极值优化
我们设计了极值优化层在最后一层之后,使极值在类别相应图中出现。考虑一个正常网络, $M \in\Re ^(C\times H\times M ) $ 代表最上层的输出类别激活图,C是类别的个数。因此,输入极值优化层的是M,输出的是类别感知分数$s\in\Re^C$ 。$M^c$中的极值是边长为 r的窗口区域内的极大值, 极大值的坐标记为 $P^c={(i_1,j_1),(i_2,j_2)}$ ,总数目是$N^c$,在前向传播时,一个简单的核 $G^c\in\Re^(H \times W)$用来计算目标的分类分数,在(x,y)的核元素被记为$G^c_(x,y)$ ,与大多数损失形式不同,核被记为![](https://img2022.cnblogs.com/blog/1185665/202211/1185665-20221118103419264-1473334135.png) 其中f是一个 dirac delta函数,用来只在极值点产生元素。 (ps,这段公式我看了好几遍,TMD就是极值点取1,其他地方取0,这个公式是为了数学上的严谨性还是故弄玄虚?)
3.1全卷积结构
3.1全卷积结构