语义分割改进：通过视频传播和标签松弛

语义分割改进：通过视频传播和标签松弛

Improving Semantic Segmentation via Video Propagation and Label Relaxation

论文地址：https://arxiv.org/abs/1812.01593

摘要

本文提出了一个视频预测-以方法论为基础，通过综合新的训练样本，以便提高语义切分的准确性网络。利用视频预测模型能够预测未来的帧，同时预测未来的标签。

联合传播提出了缓解mis的策略-合成样品中的排列。证明训练分段模型由合成样本扩充的数据集导致准确度的显著提高。             

还引入了一个新的边界标签，使训练强健的放松技巧，沿着物体边界消除噪声和传播伪影。该方法在Cityscape上实现83.5% 和CamVid 上82.9%的mIoUs。单一模型，不是模型集合，在KITTI语义切分测试中达到72.8%的mIoU，超过了2018年罗伯挑战赛。

在kitti数据集语义分割中，性能指标排名第一。

 

  创新点

的贡献总结如下：             

•建议利用视频预测模型将标签传播到相邻帧。             

•引入了联合图像标签传播来缓解错误对齐问题。             

•建议通过最大化沿边界的类概率联合的可能性来放松一个热标签训练。这将产生更精确的模型，并允许执行更长的距离传播。             

•在分割性能方面，将基于视频预测的方法与基于标准光流的方法进行了比较。

  测试均值

   Test Image 0

  Input Image

  Prediction