Deep Image Matting

论文地址：https://arxiv.org/abs/1703.03872 
TF复现地址：https://github.com/Joker316701882/Deep-Image-Matting

领域

 

主题

主要思想

 

实践

数据集

49300张训练图像和1000张测试图像

当前基于抠图的数据集太小，alphamatting.com数据集只有27张训练图片和8张测试图片，训练出来的模型泛化能力较差。

针对该问题，作者将前景抠出来，并放入到不同的背景下，从而构建一个大规模抠图数据集。

 

模型

深度模型分为两个阶段。

Matting encoder-decoder stage

该神经网络将原图和对应的trimap作为输入，并预测图像的alpha matte。

网络：输入图像块和对应的trimap，输出是alpha预测。编码阶段是14个卷积层和5个池化层，得到低分辨率的特征图，解码阶段是6个卷积层的小网络，5次unpooling得到原图大小的alpha prediction.
Loss: 使用了两个loss，第一个是alpha-prediction loss，是预测的alpha values 和ground truth的alpha values的绝对差。第二个loss是compositional loss，预测的RGB颜色值和对应的ground truth绝对差。两个loss以0.5加权得到最终的loss。
实现：数据处理技巧有随机裁剪（320*320），不同尺度输入（resize到320*320），图片翻转等；编码加载VGG16模型的前面，译码阶段使用Xavier随机初始化。

Matting refinement stage

该网络对第一个网络预测的alpha matte进行精炼，从而拥有更准确的α值和锐化边缘。

网络：4个卷积层，输入是图像块和预测的alpha prediction。 
实现：先训练编解码网络，待其收敛后用于更新refine网络，第二个网络只使用alpha-prediction loss。

理论

主要解决传统方法中只有low-level features和缺乏high-level context的问题。

一是当前方法将抠图方程设计为两个颜色的线性组合，即将抠图看做一个染色问题，这种方法将颜色看做是一个可区分的特征。但是当前景和背景的颜色空间分布重叠时，这种方法的效果就不是很好了。使用深度学习不首要依赖色彩信息，它会学习图像的自然结构，并将其反映到alpha matte。

二是