Inf-Net: Automatic COVID-19 Lung Infection Segmentation from CT Images

1 问题描述

对COVID-19的研究面临的挑战有：感染区域特征的高变异性（CT切片中感染的纹理、大小和位置变化较大，对检测具有挑战性）；感染与正常组织之间的低强度对比（类间方差很小）；数据量小导致训练困难。

论文提出Inf-Net从肺部CT图片中自动分割感染区域。其中，并行部分解码器（PPD）用于聚合高级特征（结合上下文信息）并生成全局图。然后，利用隐式逆向注意力（RA）和显示边缘注意力对边界进行建模和增强表征。此外，为了缓解标记数据不足的问题，我们提出了一种基于随机选择传播策略的半监督分割框架，该框架只需要少量标记图像，主要利用未标记数据。

在COVID-SemiSeg和真实CT体积上进行广泛实验表明，Inf-Net性能优于大多数尖端分割模型，并提高了当前的性能水平。

作者指出其动机源于临床医生在肺部感染检测过程中，首先对感染区域进行粗略定位，然后根据局部症状准确提取其轮廓。因此，我们认为区域和边界是区分正常组织和感染的两个关键特征。因此，我们的网络首先预测粗糙区域（PPD），然后通过反向注意和边界约束引导隐式建模边界，显式增强边界识别。

2 内容介绍

2.1 Inf-Net结构

图1 模型结构

具体流程：CT图像首先被送入两个卷积层，以提取高分辨率，语义薄弱(低级)特性。在此，我们增加了边缘注意模块（EA）来明确地改善目标区域边界的表示。然后将f2得到的低层特征馈入三个卷积层，提取高层特征，用于两个目的。首先，我们利用并行部分解码器(PPD)来聚合这些特征，并生成一个肺部感染的粗略定位的全球地图Sg。其次，这些特征结合f2在Sg的指导下被馈给多个反向注意(RA)模块。值得注意的是，RA模块是以级联的方式组织的。如图1所示，R4依赖于另一个RA R5的输出。最后一个RA的输出，即S3被输入sigmoid函数，用于最终预测肺部感染区域。接下来详细介绍网络的关键组成部分和损失函数。

EA:

低层特征保留有边缘信息，选用f2，将特征f2通过一个过滤器被提供给卷积层来产生边缘映射，用标准二元交叉熵损失（BCE）计算生成的边缘映射和由真值(GT)导出的边缘映射Ge的相异度。

Paralleled partial decoder(PPD):

图2 平行部分解码器

用并行部分解码器只聚合high-level的特征。对于输入的CT图像I，我们首先使用Res2Net的前5个卷积块提取两组底层特征{fi, i = 1,2}和三组高级特征{fi, i = 3,4,5}。然后利用部分解码器pd(.)，以并行连接聚合高层特征。部分解码器生成一个粗略的全局映射Sg = pd(f3, f4, f5)，作为RA模块中的全局指导。

Reverse Attention Module：

图3 逆向注意力模块

临床医生通常采用两步方法对肺部感染区域进行分段，先粗略定位感染区域，然后通过检查局部组织结构对感染区域进行准确标记。我们的架构可以依次利用互补区域和细节，方法是从高级副输出特征(side-outputs，即Si)中删除估计的感染区域。具体流程为：

首先融合{fi, i = 3,4,5}和e_att= f2的特征， RA的权重为Ai。

其中，Dow为下采样，C(.)为concat操作。权重Ai在显著目标检测方面具有实际意义，定义为：

其中P为下采样操作，然后使用Sigmoid函数，再使用从矩阵E中减去输入的反向运算。符号表示将一个单通道特征扩展到64个重复张量，其中包括对候选张量的每个通道进行反转。值得注意的是，由RA驱动的删除策略最终可以将不精确和粗糙的估计细化为准确和完整的预测图。

Loss Function: 在边缘监督上提出了损失函数Lseg，由IOU和BCE加权计算得到，其中权重系数设置为1。不同于一般的IoU，这里设计的带有权重的IoU和BCE提高了难分像素（hard pixel）的比重，而不是给所有像素分配相等的权重。使用Correntropy-induced loss Functions可以提高鲁棒性。

最后计算了side-outputs(S3、S4、S5)与Sg的监督损失，在计算时采用了上采样，保持梯度一致。总的损失函数定义为：

2.2 半监督-Inf-Net

我们使用半监督学习策略改进了info - net，该策略利用大量未标记的CT图像来有效地扩充训练数据集，以提高分割精度。我们使用如图5中的算法1中描述的过程为未标记的CT图像生成伪标签。

图5 伪标签生成算法

图6 算法框架

2.3 Extension to Multi-Class Infection Labeling：

图7 在多标签任务中的应用

将感染分割结果和对应的CT图像输入一个多类分割网络，如FCN8s或UNet。该框架可以充分利用Semi-Inf-Net提供的感染分割结果，有效提高多类感染标记的性能。

3. 实验设置及结果

生成伪标签：K=5，共1600张无标签数据，batchsize=16，迭代320轮。

半监督Inf-Net：

首先统一缩放到352*352，再使用不同的缩放速率(0.75, 1, 1.25)重复采样。使用Adam，学习率：设置为1e-4。训练阶段分两步：1.在1600张伪标签的数据集上训练，2.在50张有标签的数据集上微调。

数据集：共100张有标签的图，选择其中45张做训练集，5张为验证集，50张为测试集。

评价指标：Dice、Sensitivity (Sen.), Specificity (Spec.), and Precision (Prec.)以及目标检测中用到的Structure Measure(Sa), Enhance-alignment Measure ( ):、Mean Absolute Error(MAE)，定义分别为: