萌新的U-Net 图像分割网络及其衍生网络论文阅读笔记

U-Net 图像分割网络及其衍生网络论文阅读笔记

U-Net

简介

“U-Net”原用于生物医学领域的小样本高精度图像语义分割,整个网络结构呈现U型而得名

U-Net 网络结构

网络结构

U-Net 类似于编码器和解码器的结构，整个流程为 U 型，左边的为下采样过程，右边为上采样过程，中间的灰色箭头是将特征图进行跳层联结，其原理和 Dense-Net 相同，即 concatenate ，torch.cat([x1,x2])。可以将浅层的定位信息和高层的像素分类判定信息进行融合，从而得到更佳的结果。

特点

通过使用 卷积层 Padding = 0 ,使特征图大小 -2的同时增加通道数，同时可以减小显存开销；
在图像的边缘采用 对称镜像Padding 的方式补充分割，减小边缘像素信息损失和错误拼接信息输入（见下图）；

U-Net 图像边缘补齐

下采样使用 max-pooling，上采样使用步长为 2 的反卷积
迫使网络学习在接触的单元之间引入的小分离边界（这一部分不是很清楚）

分离边界学习

分割边界是使用形态学操作计算出来的。然后，权重图被计算为：

ω (x) = ω_{c} (x) + ω_{0} \cdot \exp (- \frac{{(d_{1} (x) + d_{2} (x))}^{2}}{2 σ^{2}})

$\omega \left( x \right) =\omega _c\left( x \right) +\omega _0\cdot \exp \left( -\frac{\left( d_1\left( x \right) +d_2\left( x \right) \right) ^2}{2\sigma ^2} \right)$

U-Net++

简介

U-Net++，一个基于嵌套和密集跳过连接的新分割架构。架构背后的基本假设是，当来自编码器网络的高分辨率特征图在与来自解码器网络的相应的语义丰富的特征图融合之前，该模型可以更有效地捕获前景目标的细微细节。（感觉和残差结构非常类似）

特点

U-Net的多次次下采样会使得特征图所表达的信息更加抽象（从基本的线条到更抽象的信息），这会使得浅层的边缘信息被更抽象的信息覆盖，与严格的分割要求不符。因此采用密集ji卷积块（dense convolutional blocks）在融合之前弥补编码器和解码器的特征图之间的语义差距

U-Net++ 深度卷积结构

在U-Net中，编码器的特征图直接在解码器中被重新接收；然而，在U-Net++中，它们要经过一个密集的卷积块，其卷积层的数量取决于金字塔级别（见上图）。
深度监督（Deep supervision）~~不是很理解，论文里面也没详细说~~
1. 精确模式，即所有分割分支的输出都是平均的。
2. 快速模式，即只从一个分割分支中选择最终的分割图，其选择决定了模型修剪的程度和速度增益。