Structure Boundary Preserving Segmentation for Medical Image with Ambiguous Boundary(CVPR 2020)论文阅读笔记
1 问题描述
该论文针对医学图像的两个关键问题：医学图像域内结构边界的模糊性和在没有专业领域知识的情况下分割区域的不确定性。当前的提高边界精度的方法依赖于后处理（如CRF），结果会受手工参数的影响，提出了结构边界保持的分割框架。
论文的主要贡献在于：
(1) 提出了一种最适合目标区域的边界关键点选择算法。被选取的关键点通过带有边界关键点映射生成器的BPB进行编码，它允许分割模型进一步利用结构边 界信息，预测目标对象的结构边界。
(2) 提出新的形状边界感知评估器(SBE)，自动生成边界关键点信息。评估器向分割网络反馈分割区域是否与边界关键点吻合。
(3) 该方法可以推广到不同的分割模型。为了评估BPB和SBE的泛化能力，将我们的方法与三种最新的分割模型相结合，U-Net, FCN，Dliated 网络。实验表明，该方法提高了预测性能，具有统计学意义。
2 内容介绍
图1 结构边界保持分割的总体框架
图1是边界保持分割框架的概述。该算法由边界保持块(BPB)的分割网络和形状边界感知评估器(SBE)两部分组成。BPB和SBE使用从关键点选择算法中选择的边界关键点来保持目标物体的结构边界。在BPB中，生成关键点映射，用于细化输入特征。然后，该分割网络预测了结构边界保留的分割映射。SBE网络反馈给分割网络给定的分割映射是否与边界关键点映射重合。分割网络和SBE对抗训练后，仅使用分割网络进行推理。
2.1 边界关键点选择算法
图2 边界关键点选择算法
为了得到最适合groundtruth分割图和表示目标区域结构边界的关键点，作者设计了边界关键点选择算法:
(1) 首先，利用传统的边缘检测算法从ground-truth分割图中获取目标物体的边界。在目标对象的边界上随机选择n个，t为迭代次数。
(2) 然后，通过连接第t次迭代时的n个点构造了边界区域
(3) 为了得到真值边界关键点图，计算两者的IOU，最后选取IOU值最大的边界点作为结构边界关键点。
关键点表示为：
将关键点映射到2维，使用交叉熵损失训练模型，具体地，边界点图中是以这些点为中心，将它们周围半径为R的区域内都置为1，其余位置置为0。（提示：边界点图的构造方式类似关键点检测任务中heatmap的构造方法，这种做法的好处在于2D的表示更适合卷积网络的训练和预测）。
2.2 Boundary Preserving Block (BPB)
图3 训练边界保持块(BPB)的详细框架。ground truth边界关键点图由边界关键点选择算法生成。
图3展示了如何在分割网络中嵌入BPB框架。其中，边界关键点映射生成器利用扩张卷积可以有效地对具有不同接收域的特征进行编码/解码。类似于残差网络，结构边界保留信息特征可写作：
可以看到，Mi使用并行的空洞卷积做边界点图的预测，用公式表达如下（其中r为空洞采样率，s为卷积核大小）：
最后通过最小化Mi和真值生成的边界点图 的交叉熵损失得到边界关键点生成器。
2.3 Shape Boundary-aware Evaluator (SBE)
SBE以边界关键点图和分割图像(预测值或ground-truth)作为输入，将边界关键点图与给定的分割图像跨通道连接并送入SBE网络，SBE评价分割结果与边界关键点图是否一致。损失函数定义为：
2.4 Loss function
文中提出的模型会产生3个部分的预测：分割图预测、SBE的预测、各个卷积模块对应的边界点图预测。因此损失函数由这三部分的损失函数组成，表示为：
其中：
3 实验结果
Dataset: PH2+ISBI 2016 Skin Lesion Challenge dataset; Their own Transvaginal Ultrasound (TVUS) dataset.(train: test=4: 1)
Optimizer: ADAM with learning rate 0.0001 in the segmentation and SBE network.
n=6, T=40000
3.1 实验及其评估
3.2 多重BPB实验
设计了5种方式放置BPB。实验在TVUS数据集上进行。表5显示了性能比较以及U-Net上的BPBs数量。5个变体如下:
•编码器(前端):U-Net编码器第一层的BPB。
•解码器(end): U-Net解码器最后一层的BPB。
•中心(1):U-Net中心的BPB
•中心(3): 8个卷积层后3个BPBs
•中心(6):4个卷积层后6个BPBs。
3.3 可视化结果
在PH2+ISBI 2016(1-3行)和TVUS(4 - 6行)上U-Net和UNet+BPB+SBE方法分割结果比较。(a)为原始图像，(b)为ground truth分割图像，(c)为U-Net的结果，(d) UNet+BPB+SBE， (e)为生成关键点图的可视化结果。
