语义分割论文阅读

之前看了一些介绍语义分割的论文，但是没有记笔记，因为想把时间花在跑模型，增强工程能力上。现在参照别人的文章，把看过的几篇论文做一个简单的总结。

1. FCN

网络结构如下图，即输入图片通过CNN网络提取特征，之后经过上采样，将特征恢复成原图大小，从而达到像素级别的分割：

全卷积网络，有三个特点：

1. 将全连接层替换为全卷积层，即最后一层是通过卷积生成，1*1*2046个特征，而非直接变成全连接层。我理解去掉全连接层好处是，卷积层可以对任意大小的feature map 进行卷积，从而最开始输入的图片大小就可变了。而全连接层由于计算方法的区别，必须对输入的feature map进行统一大小，不然就无法计算。其他方面应该是一样的。可以自己手推一下。如图所示，将全连接层替换为全卷积层

2. 上采样。我觉得这点很重要，将提取的高维抽象特征，经过上采样恢复成原图大小，各个channel再叠加起来，完成了像素级别的特征提取。上采样方法和CNN 反向传播求梯度时的上采样方法一样，此处可参考其他人手推的BP算法在CNN网络中的实现。这个实现很重要，有必要自己学会如何手推。

3. 跨层连接。这点没什么好说的，目的就是通过获取多层特征，从而对feature的还原度好一点。论文实现了32倍，16倍和8倍上采样（三种框架），上采样方法如下图所示.

下图是3种倍数的上采样的分割效果，可以看到8倍上采样的分割效果最好。论文里也尝试融合更多层特征，之后再上采样，但是改善效果不大

损失函数,参照我上一篇博客相关介绍:

2. U-net

这个框架经常被用来进行Kaggle比赛，用作baseline，应该是因为模型简单，非常快，用少量图像也训练得比较好。而且最开始也是用作医学图像标记的，对小物体效果也很好。不过现在已将发展到DeepLab V3及Mask-RCNN了，我觉得后面两个模型更好。

下图就是网络结构。由此也可以看出来为毛要叫U-net了。对FCN的一种改进吧，上采样过程中融合了更多层的原feature map的信息，同时注意是通过增加channel的方式来进行的融合，先裁剪成2*2，之后按通道加到上采样后的通道中，而非FCN的直接求和来叠加feature map的信息。这点可以从channel数量看出来。通道数很大，这样可以将上下文信息传到分辨率更高的层中去。

左边是下采样，不断提取特征，同时分辨率下降，右边是上采样，增大分辨率，同时融合原feature map信息，目的是增强位置信息。因为越抽象到高层，特征所表达的位置信息就越若。增加底层的feature map的信息，就可增强上下文信息。这点下一篇博客会专门写一下相关网络架构。

说一下其损失函数的定义。这个定义的损失函数比价复杂，原因是为了将相互接触的目标分开，是按照位置赋予像素一个权重，对比机器学习KNN及线性分类器及SVM这种，很像按高斯核来确定的一个权重。毕竟细胞是相互接触的，实际Kaggle中用的U-net损失函数定义和其他无区别，因为比赛重叠的物体很少。

3. Segnet

没什么好说的，看网络结构，感觉和U-net很像，都是编码解码过程，而且看后面感觉也没什么人用，就没怎么看。创新点是池化过程中记住了位置信息，上采样时按位置信息恢复可以更好还原图像。我本来以为之前所有的都是按这种形式做得，这个以后有时间要看下tensorflow的源码上采样实现过程了

4. Deeplab系列

deeplabv1&v2

Deeplab讲一下空洞卷积的概念。其实后面是用条件随机场做过图像处理，增强图像位置信息，但是条件随机场，概率图这部分看着头大，公式推过几遍，但是当时学的时候没有用到什么算法实例，而且DeeplabV3把这部分也去掉了，就先不写。下面就是整体的流程。j简单讲一下v1,v2，其实也没怎么看。感觉不如直接讲V3和V3+。

空洞卷积的引入就是在不减小分辨率的情况下增加感受野。上一篇博客讲过。空洞率rate就是空洞的个数+1. 可以看到对相个数同的像素点进行卷积操作，空洞卷积的感受野明显增大。

Deeplab V2相比V1其实就是增加了使用不同空洞率的卷积核来进行卷积，就好像增加了不同尺度的feature map,之后对这些进行了融合。没仔细看，不讲了，简单如下图

Deeplab V3

感觉相比前两种，V3改进就是尝试了ASPP模块的改进，基础网络还是resnet。V3和V3+这两篇论文比较重要，也看了源码，但是暂时没时间仔细看，看完源码之后再写篇博客专门写一下。

最开始，如图所示有以下几种级联方式。

1.不同尺寸的图像进行输入，之后将feature map融合进来。常见于人脸检测中。

2. 编码解码方式。比如U-net

3. 串联结构

4.并联结构

后两种结构均在本文做了尝试

并联方式改进如下，增加了1*1的卷积和全局池化层。1*1卷积可以看成空洞rate特别大的卷积，而image pooling 相当于对全局图片进行平均池化，成为一个点，之后经过一个1*1的卷积后，采用双线性差值进行上采样：

论文也尝试过串联结构，但是貌似效果不好？

DeeplabV3+

18页的论文，真是。。太麻烦了。其实就两点，对DeeplabV3的进一步优化，加入了编码解码结构。ASPP结构是编码，后续上采样加入了底层的featur map信息，目的是增强位置敏感性?第二点就是基础模型的改进。。

网络结构不再是Resnet,变成了Xception.不会的可以参考下其他人的博客。。我下一篇也会写这个模型。。。

Deeplab系列就这样吧。这一系列看的有点着急，而且是好久之前看的重新写心得，其实很有必要实现下源码增强理解。。下周会写一份源码的阅读记录。。。

PSPnet

PSPnet其实在DeeplapV3之前，DeeplabV3就是吸取了它的global pooling层的特点做得一个改进。global pooling的意义就是吸取不同尺度的特征信息，也包含了位置的信息。经过不同尺度的global pooling,形成1*1，2*2,3*3和6*6后的feature map，之后卷积，减小通道个数。在进行上采样（双线性差值方法）和未经过pooling的层进行融合。进行分割。整体过程如下图：

Large Kernel matters

大卷积有利于掌握全局信息，但是前面global pooling和1*1会损失位置信息，且单纯大卷积会造成计算量大，所以本文采用了GCN形式，且通过残差模块来提高边缘信息。我不是很理解GCN是怎么实现的，难道padding是使用的same padding?没有看源码，只看了下大致的结构。流程如下，看到增加的新模块是GCN和BR结构。