文献阅读004【精读】

2017 Data-driven vs. model-driven Fast face sketch synthesis

相关文献：Heterogeneous image transformation
相关知识：KNN, SFS, SVR, high-frequency information

0.摘要

画像合成的旧方法——data-driven。

本论文提出画像合成的新方法——model-driven。

1.介绍

data-driven：如文献阅读001,002，都是基于该方法。

算法：

1.输入一张新图像 IP
2.从训练集T中的图像P拟合出新图像IP，记学得模型为：I=M(TP)
3.将训练集T中的画像S合成出伪画像IS，IS=M(TS)
4.输出一张合成画像 IS

一般，在第2步中，并不是把训练集中所有图像都利用起来，而是选取最合适的部分来拟合。有用KNN方法的，即从训练集中找出前K个与新图像最像的图像，这里的“像”，可以用几何距离来表示。

特点：计算复杂度与训练集的规模线性相关。

model-driven：

与data-driven不同，该方法不用遍历整个训练集的图像。

为什么不用？model-driven是直接学的一个模型，将 photo—>sketch。如下图：

2.Model-driven face sketch synthesis

如图Fig.2，如何求 fi ？用 ridge regression，目标函数：

\[\begin{align} &\Theta_{(m×p)}\ 为系数(参数)矩阵，即我们要学习的模型，\\ &X_{(d×n)}\ 为\ photo\ patches，\\ &Y_{(d×n)}\ 为\ sketch\ patches，\\ &\lambda\ 为正则化参数（防止过拟合）。\\ &p\ is\ the\ size\ of\ patch，d = p^2，\\ &n\ is\ the\ number\ of\ photo-sketch\ patch\ pairs\\ &what\ is\ m\ mean?\ and\ how\ dot([m×p]·[p^2×n])?\\ &把训练集图像划分成C个culsters，每个cluster有n个patches，一个X为一个cluster \end{align} \]

sketch patch synthesis:

其他正则化技术：Laplacian regularization and p -Laplacian regularization

本论文用 python 的 scikit-learn package 来实现，λ取10^6。

在 Heterogeneous image transformation 一文中，说明了如果直接用上式来合成sketch，会出现过于光滑和模糊的现象，因为一些信息(hight-frequency information, detail information)会被过滤掉。

Zhang等作者在 Face sketch-photo synthesis based on support vector regression一文中提出用SVR的方法，他们用与合成 initial estimation（初步模型）不同的方法对high-frequency information进行合成，再补偿initial estimation缺失的信息，如下图。

其中，Heterogeneous image transformation 2012是在Face sketch-photo synthesis based on support vector regression 2011的基础上改进，同一个作者。

而本论文采用相同的方法，即对initial estimation, high-frequency information合成的方法都一样。

什么是 hight-frequency information?

在对图像分块的时候，之间会有部分重叠，但是使用KNN方法或者SFS方法加权后会丢失部分high-frequency information。

如何获得hight-frequency information？

给定一张手稿图，每个patch的high-frequency information等于每个像素点的灰度值减去该patch的平均值，差值大的就是high-frequency information。

输入：x，photo每个像素点减去一定范围内的平均值。

输出：y，sketch每个像素点减去一定范围内的平均值，该图片即high-frequency information。

训练得到的模型：f(x)

对于test photo，可以用训练得到的模型f(x)来得到其high-frequecncy information，最后将其fuse to a whole one image

【参考】

Heterogeneous image transformation

这篇文章分为两步：

1. 用SFS进行初步的特征提取（改进了KNN的缺陷：K值固定使得有些并不邻近的点也被“强行”算作邻近点，这会使图像特征模糊）。
2. 用SVR求出photo到sketch提取high-frequency information的模型，如下图。

Face sketch-photo synthesis based on support vector regression

就是介绍SVR的方法，在Heterogeneous image transformation均有介绍。

3.知识点收获

SVR，high-frequency information，SFS