【任务指标】Matting任务里的Gradient与Connectivity指标

Matting任务里的Gradient与Connectivity指标

主要背景

Matting任务就是把α(不透明度, 也就是像素属于前景的概率)、F(前景色)和B(背景色)三个变量给解出来.

C为图像当前可观察到的颜色, 这是已知的. 问题是一个等式解不出三个变量, 因此就必须引入额外的约束使这个方程可解, 这个额外的约束就是由用户指定的trimap(有人译为三元图)图, 或者是仅仅在前景和背景画几笔的草图(scribbles).

主要的手段

• 传统方法: Poisson Matting/Bayes Matting/Closed Form Matting/KNN Matting
  • Color sampling方法, 以Bayesian Matting为代表, 通过对前景和背景的颜色采样构建高斯混合模型, 但是这种方法需
    要高质量的trimap, 不易获取
  • Propagation的方法, 根据像素亲和度将用户绘制的信息传播到不确定像素, 以Poisson Matting和KNN matting为代
    表, 但是也不是自动抠图
• CNN方法:
  • Natural Image Matting Using Deep CNN(ECCV 2016)
  • Deep Automatic Portrait Matting(ECCV 2016)
  • Automatic Portrait Segmentation for Image Stylization(2016)
  • Deep Image Matting(CVPR 2017)
  • Semantic Human Matting(2018)等

主要评价指标

来自于论文: Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting. Conference on Computer Vision and Pattern Recognition (CVPR), June 2009.

• Gradient
• Connectivity
• SAD
• MSE

一些相关的术语, 来自参考链接[1]
SAD（Sum of Absolute Difference）= SAE（Sum of Absolute Error)即绝对误差和
SATD（Sum of Absolute Transformed Difference）即hadamard变换后再绝对值求和
SSD（Sum of Squared Difference）= SSE（Sum of Squared Error)即差值的平方和
MAD（Mean Absolute Difference）= MAE（Mean Absolute Error)即平均绝对差值
MSD（Mean Squared Difference）= MSE（Mean Squared Error）即平均平方误差

大致内容

因为若是仅仅考虑SAD和MSE指标, 在和人类判断的对比中, 发现, 并不能很好地反映人类的实际判断标准. 为此文章引入了两个新的指标, 梯度和连通性. 先来说下连通性.

Connectivity

这个图基于matting任务中获得的alpha matte图, 这是一个灰度图, 表示的就是前面的公式里的$\alpha$.

由于这里的图上出现了几个参数, ${\alpha }_i\mathrm{\Omega },d_i,l_i,i$, 下面结合具体的公式来理解.

$$\sum _i{(\phi ({\alpha }_i,\mathrm{\Omega })-\phi ({\alpha }_i^{\ast },\mathrm{\Omega }))}^p$$

这里的p是自定义参数. 具体见后.

该公式给出了连通性误差的计算方法, 这里是对整个预测出来的alpha matte图和对应的真值的图的对应的差异的累和. 这里的关键是里面的$\phi ({\alpha }_i,\mathrm{\Omega })$函数.

首先要解释这里的$\mathrm{\Omega }$, 它表示的是对于预测结果图和真值共有的最大的值为1的连通区域, 被称为"源域(source region)", 也就是在上图中红线区域大致表示的范围. 这里的$\phi$计算的是有着透明度${\alpha }_i$的像素i, 与源域的连通度(degree of connectivity), 当其为1则认为该像素与源域全连通, 等于0表示完全不连通. 另一个加星号的表示真值图上的对应像素的连通度的计算. 二者计算差异, 来累计误差. 好的结果应该有着更低的误差, 更相似的连通情况.

公式里的$l_i$表示像素i四连通到源域所需要的最大阈值, 也就是上图中的虚线, 用它对alpha matte进行二值化, 正好处于使像素i与源域连通(实际需要四连通)/不连通的临界. 若是对于一个像素而言, 它的$l=\alpha$, 那么就可以认为它与源域是全连通的.

而公式里的$d_i$如图所示, 表示的就是像素i处的$\alpha$值和对应的临界阈值$l_i$的差距.

$$\phi ({\alpha }_i,\mathrm{\Omega })=1-({\lambda }_i\cdot \delta (d_i\ge \theta )\cdot d_i)$$

这里的$\theta$是自定义参数, 具体见后. 它用在指示函数$\delta$里作为一个阈值, 来忽略小于它的$d_i$的情况, 认为小于它就已经是全连通了, 使得误差计算更为灵活.

其中的${\lambda }_i=\frac{1}{|K|}\sum _{k\in K}dis{t}_k(i)$用来对$d_i$进行加权, 这里的K表示$l_i$到${\alpha }_i$之间的离散$\alpha$值的集合, $dis{t}_k$计算了设置为阈值$k$时, 对于像素i距离最近的连通到源域的像素, 与像素i之间的标准化欧式距离. 实际情况中, 远离连通区域的像素, 获得的权重$\lambda$也应该相应会更大些, 这样导致得到的$\phi$会更小些, 也就是认为连通度更小.

Gradient

主要计算的是预测的alpha matte $\alpha$和ground truth ${\alpha }^{\ast }$的之间的梯度差异, 定义如下:

$$\sum _i{(\mathrm{\nabla }{\alpha }_i-\mathrm{\nabla }{\alpha }_i^{\ast })}^q$$

这里的q是自定义参数. 具体见后

这里的$\mathrm{\nabla }{\alpha }_i$和$\mathrm{\nabla }{\alpha }_i^{\ast }$表示的是对应的alpha matte的归一化梯度, 这是通过将matte与具有方差$\sigma$的一阶Gaussian导数滤波器进行卷积计算得到的. 二者计算差异, 进而累计损失. 总体越相似, 指标值越小.

这里的方差$\sigma$也是自定义参数, 具体见后

关于参数的选择

对于这里存在四个需要人工设置的参数: $\theta ,p,q$, 在参考文章3中, 有进一步的测试与设定, 文章最终选择了这样的设定: $\sigma =1.4,q=2,\theta =0.15,p=1$.

参考文章

1. https://zhidao.baidu.com/question/1701594942558730300.html
2. http://alphamatting.com/index.html
3. Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott. A Perceptually Motivated Online Benchmark for Image Matting. Conference on Computer Vision and Pattern Recognition (CVPR), June 2009.`