Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials阅读笔记

    主要贡献·：为全连接CRF实现的一个高效近似推断随机算法，其成对边势被一组线性高斯核所定义。   

    目标：将图像中的每个像素按照预设的分类目录来贴标签，同时对多目标类进行识别和分割。一种比较常见的方法是最大后验估计。CRF势中包含了平滑项，其可以让相邻像素被分配相似标签。基本的CRF结构能力受限在图像内的远距离连接和过分的平滑对象的边界，研究人员添加了分级连接和高阶势来提升其表现，但改进后的模型表现仍受限于无监督的图像分割。

    本文中，使用了全链接的CRF来在图像中的每一对像素上建立成对势，最大的挑战变为了模型的尺寸。本文算法基于CRF分布的平均场近似，该近似通过一系列的消息传递步骤来迭代优化，每次通过结合其他变量的信息来更新一个变量。应用高维滤波器也减少了计算的复杂度。

全连接CRF模型

    

    其中k^(m)是高斯核

    i与j是像素i与j在任意特征空间的特征向量。

    w^(m)是权重的线性组合。

    μ是标签相似度方法。

    对于多类图像分割与识别这里使用了对比度敏感的两核势，I为颜色向量，p为位置。

    其中前一项的分母控制了相邻和相似的程度，后一项用于去除图像中小而独立的区域，这些参数都从数据中学习而来。

全连接CRF的高效推断

    相较于计算确切的分布P(X)，平均场近似计算了一个可以使KL散度最小化的分布Q(X)。

    

        从信号处理的观点来看，消息传递的步骤可以被表达为一个在特征空间应用了高斯核的卷积：

    这个卷积实现了一个低通滤波器，根据采样定理，这一方法可通过一个样本间距与滤波器标准差成比例的样本集来进行改造。而后我们可以进行下采样-卷积-上采样。

    一种常用的高斯核近似方式是高斯截短，其超过两个标准差的所有值都被置为0值。由于样本间距与标准差成比例，截短核只需常数级的样本点来支撑，使得每个样本的卷积计算只需常数个临近样本，这样消息传递可以在线性时间复杂度上进行。

    此种方式的高维的滤波算法仍能有指数级的复杂度，然而一个好的滤波器可以减少其复杂度到线性，所以使用了permutohedral lattice算法。