Robust De-noising by Kernel PCA

目录

• 引
• 主要内容

Takahashi T, Kurita T. Robust De-noising by Kernel PCA[C]. international conference on artificial neural networks, 2002: 739-744.

引

这篇文章是基于对Kernel PCA and De-Noisingin Feature Spaces的一个改进。

针对高斯核：

$$k(x,y) = \exp (-\|x-y\|^2/c)$$

我们希望最小化下式（以找到$x$的一个近似的原像):

$$\rho(z) = \|\Phi(z) - P_H \Phi(x)\|^2$$

获得了一个迭代公式：

$$z(t) = \frac{\sum_{i=1}^N w_i k(x_i, z(t-1))x_i}{\sum_{i=1}^N w_i k(x_i, z(t-1))}$$

其中$w_i=\sum_{h=1}^Hy_h u_i^h$,$u$通过求解kernel PCA获得（通常是用$\alpha$表示的）,$z(0)=x$。

主要内容

虽然我们可以通过撇去小特征值对应的方向，但是这对于去噪并不足够。Kernel PCA and De-Noisingin Feature Spaces中所提到的方法，也就是上面的那个迭代的公式，也没有很好地解决这个问题。既然$\{y_h\}$并没有改变——也就是说，我们可能一直在试图用带噪声的数据去恢复一个不带噪声的数据。

所以，作者论文，在迭代更新过程中，$y_h$也应该进行更新。

这样，每一步我们都可以看作是在寻找：

$$\|\Phi(z)-P_H\Phi(\widetilde{x}(t)\|$$

的最小值。
从$(10)$可以发现，除非$\widetilde{x}(t)=z(t-1)$是$x$的一个比较好的估计，否则，通过这种方式很有可能会失败（这里的失败定义为，最后的结果与$x$差距甚远)。这种情况我估计是很容易发生的。所以，作者提出了一种新的，更新$\widetilde{x}(t)$的公式：

其中$B(t)$为确定度，是一个$M \times M$的矩阵，定义为：

$$B(t) = diag(\beta_1(t), \ldots, \beta_M(t)) \\ \beta_j(t) = \exp (-(x_j - z_j (t-1))^2/2\sigma_j^2)$$

对角线元素，反映了$x_j$和$z_j(t-1)$的差距，如果二者差距不大，说明$P_H(x)$和$x$的差距不大，$x$不是异常值点，所以，结果和$x$的差距也不会太大，否则$x$会被判定为一个异常值点，自然$z$应该和$x$的差别大一点。

$\sigma_j$的估计是根据另一篇论文来的，这里只给出估计的公式：

$\mathrm{med}(x)$表示$x$的中位数，$\varepsilon_{ij}$表示第$i$个训练样本第$j$个分量与其重构之间平方误差。话说，这个重构如何获得呢？