《Weakly Sumpervised cell instance segmentation by propagating from detection response》 论文解读
1.介绍
非侵入式的显微镜(共焦距) 细胞技术广泛的用于细胞计数和形状分析,不需要对切片进行上色。对单独细胞的分割任务是细胞图像分析中的重要一环。然而,细胞的分割及其困难,为了解决这些难题,很多基于卷积神经网络的机器学习方法被发表。一般来说,神经网络需要大量的对细胞边界的监督数据。因为细胞的形状是复杂的,标注每一个单独的细胞边界是非常耗时的。同时,为整个细胞区域进行染色的技术并不完备,因此很难为细胞图像分理出边界。因此我们只得使用细致的人工标注。
我们的目标是发明一种弱监督细胞分割方法,可以在密集细胞的条件下,分割出每一个单独细胞,只使用简单的标注信息,例如中心位置的点标注,而不包含边界信息。这项研究的关键假设如下:
1. 这种中心位置的标注(弱标签) 对细胞的分割任务十分有帮助,因为很难在没有任何信息的情况下实现任务。同时,这种中心标注也很容易获得,因为细胞核的存在。
2.在深度学习去预测单独细胞中心的程序中,网络使用了“细胞形状边界”的信息,分析网络中,这种信息的像素点分布,对实例分割任务很有帮助。
基于这些假设,我们提出了我们的弱监督方法。这种方法首先利用像素点的位置信息学习细胞检测任务,然后利用这种用于检测的位置信息完成分割。 本篇论文的结构如下:
——在细胞图像中,细胞彼此接触,没有清晰的边界,也没有关于细胞区域的训练数据,为了进行单独细胞的分割任务,我们提出了一种弱监督方法,首先使用弱标签对细胞的中心位置进行检测定位,然后利用训练好的检测网络中包含的像素贡献信息进行细胞的实例分割。
——应对检测网络中像素贡献的分析,我们使用了指导反向传播(guided backpropagation),这种技术用于分类任务的像素贡献描述可视化。GB对网络中对于类别标签的相应点进行反向传播。相应的,我们的方法的反向传播是针对unet网络的,限定在特定区域的网络。我们的方法可以分别计算像素贡献。
——我们在多种细胞图片上演示了我们的方法的有效性,我们的方法取得了最高的准确性,
2相关工作
传统方法效果不好,因为细胞形状很复杂。 unet等卷积神经网络方法可以,但是需要标注数据,这个很耗时。
另一方面若监督的目标分割方法被提出~~
跟这些方法不同,我i们使用一个为细胞检测训练的uent网络,在网络中提取像素贡献进行分析,来在密集细胞分布的情况下,分割每一个细胞
3.方法
方法的总体如图所示,首先粗略的进行细胞中心位置的检测,u_net网络被训练,用于生成中心位置的特征地图,对于每一个检测细胞,使用从被检测细胞中心的反向传播,找到检测有贡献的像素点。然后,这种信息被用于图像剪切的分割,去分割每一个细胞,相应的频道被用于前景,其他频道称为后景。
3.1 使用似然矩阵的细胞检测
目标检测广泛使用方形盒子边框作为真实标签。然而细胞有形状复杂的,不明显的边界,而且还会彼此接触。这种情况下,一个方形盒子边框可能包含多个细胞区域,因此我们使用中心位置作为训练数据。这种标注有可能因为人类的不准确而偏离中心,因此我们使用似然矩阵作为训练数据,被标注点是一个极值点中心,附近则以高斯分布逐渐减少。我们使用MSE 二次回归损失函数训练 unet 网络。 unet网络的输出记为 y。
3.2 检测矩阵的传播
unet学习到的函数使细胞中心区域获得高值,因此细胞u的中心区域 Su可以被检测到通过阈值化特征图然后为联通区域添加标签。
在程序使用uent 网络估计细胞的中心区域时,我们考虑细胞的其他区域也对检测提供贡献。因此我们使用指导反向传播可视化像素对分类的贡献。我们的方法只传播部分区域的似然矩阵图。
共有N个细胞,G B为每一个细胞 u =1~N 运行。我们首先初始化 地图 $g_i^Out$ 将中心区域以外的所有区域设为0;
![](https://img2022.cnblogs.com/blog/1185665/202211/1185665-20221117091138623-643372988.png)GB计算利用从输出层到输入层的训练好的参数计算中心信号。这个过程和计算从输出到输入的梯度类似。
与平常的梯度计算不同,在传导到 ReLU 函数的时候我们要同时使用正向和反向的信息。假设我们关注的ReLU层在L+1 层, $g^(l+1)$ 是在 l+1层的反向梯度,$f^l$ 是 l层的前向传播值,信号只有在两个值都是正值的时候才传递,其他情况下传递值为零:
![](https://img2022.cnblogs.com/blog/1185665/202211/1185665-20221117092032317-496287590.png)最终,$ g^0(u)$ 是像素点对 u 细胞中心区域的贡献值。对于每一个探测到的细胞 k 都运行一遍上述流程。 但是,其他细胞的地区同样包含这种贡献值,如图,其他相连接触的细胞也有贡献值分布。(d)图的蓝色域是从(c)图蓝色中心反向传播得到的,(e)图是从黄色区域得到的。我们观察到其他细胞区域在各自的图中仍然有激活,如果我们直接使用这种信息进行分割,就会对单独细胞的分离产生影响。为了解决这个问题,我们对比了其他通道的该点的像素值,希望该点对u细胞贡献 $g^0(u)$是所有通道中最大的,对比公式如下
![](https://img2022.cnblogs.com/blog/1185665/202211/1185665-20221117095426593-584895017.png) ![](https://img2022.cnblogs.com/blog/1185665/202211/1185665-20221117092723222-278841717.png)图割(graoh cut)
ps: 这好像是图像处理中的一种通用算法。 使用图割算法对每一个细胞中心的图,在各自图中将前景分离出来,最后将前景组合到一张图中输出结果。
![](https://img2022.cnblogs.com/blog/1185665/202211/1185665-20221117100329453-345412330.png)