K-L变换

K-L变换（ Karhunen-Loeve Transform）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。K-L变换的突出优点是去相关性好，是均方误差（MSE，Mean Square Error）意义下的最佳变换，它在数据压缩技术中占有重要地位。

K-L（Karhunen-Loeve）变换形式

设X=(X1，X2，…，XN)T为N维随机矢量，mX=E(X)和CX=E{(X－mX)(X－mX)T}分别为其平均值向量和协方差矩阵，ei和λi分别为CX的特征向量和对应的特征值，其中i=1，…，N，并设特征值已按降序排列，即λ1≥λ2≥…≥λN，则K-L变换式为：[1]

Y=A(X-mx) (1.1)

其中变换矩阵A的行为CX的特征值，即：

式中：eij表示第i个特征向量的第j个分量。

K-L变换的性质

①Y的均值向量为零向量0。即：

mY=E{Y} =E{A(X-mX)}=0 (1.2)

②K-L变换使矢量信号各分量不相关，即变换域信号的协方差为对角矩阵。

③K-L反变换式为：

X=A-1Y+mX=ATY+mx (1.3)

④K-L变换是在均方误差准则下失真最小的一种变换，故又称作最佳变换。

这条性质与压缩编码有关。其意义是，如果在数据传输中只传送变换后的前n个系数组成的矢量，则根据这n个系数得到的恢复值可以得到最小的均方误差，其值为：

上式表明，在K-L变换下，最小均方误差值等于变换域中矢量信号的最小的N－n个方差的和。特别有意义的是，如果这些分量的均值为零，则在恢复时只要把这些分量置零，便可以使均方误差最小。

图像信号的K-L变换

K-L变换是一维变换，在对图像信号进行变换时，矢量可以是一幅图像或一幅图像中的子图像。矢量各分量之间的相关性反映了像素之间的相关性。为了得到矢量X，可以将图像或子图像的像素按行行相接或列列相接的次序排列，如图1所示。

(a)行行相接

(b)列列相接

图1由二维图像信号建立矢量信号

在建立了矢量信号之后，就要计算协方差矩阵CX，然后计算的特征矢量才能得到K-L变换矩阵A。

由此可见，尽管K-L变换具有性质(2)和(4)的最佳去相关和误差性能，但是由于求解特征值和特征根并非易事，特别是在维数高时甚至可能求不出来，而且变换矩阵与图像的内容有关，因而难以满足实时处理的要求。但是，K-L变换在变换编码中具有理论指导意义，人们通过比较，寻找出一些性能与K-L变换接近，但实现却容易得多的“准最佳”编码方法。

聚类变换认为：重要的分量就是能让变换后类内距离小的分量。类内距离小，意味着抱团抱得紧。但是，抱团抱得紧，真的就一定容易分类么？

如图1所示，根据聚类变换的原则，我们要留下方差小的分量，把方差大（波动大）的分量丢掉，所以两个椭圆都要向y轴投影，这样悲剧了，两个重叠在一起，根本分不开了。而另一种情况却可以这么做，把方差大的分量丢掉，于是向x轴投影，很顺利就能分开了。因此，聚类变换并不是每次都能成功的。

图1

摧枯拉朽的K-L变换

K-L变换是理论上“最好”的变换：是均方误差（MSE，MeanSquare Error）意义下的最佳变换，它在数据压缩技术中占有重要地位。

聚类变换还有一个问题是，必须一类一类地处理，把每类分别变换，让它们各自抱团。

K-L变换要把所有的类别放在一起变换，希望通过这个一次性的变换，让它们分的足够开。

K-L变换认为：各类抱团紧不一定好区分。目标应该是怎么样让类间距离大，或者让不同类好区分。因此对应于2种K-L变换。

其一：最优描述的K-L变换（沿类间距离大的方向降维）

首先来看个二维二类的例子，如图2所示。

图2

$P\left( {{\omega _1}} \right) = P\left( {{\omega _2}} \right) = 0.5$

如果使用聚类变换， ${\Phi _1}$ 方向是方差最小的方向，因此降维向 ${\Phi _1}$ 方向投影，得到2类之间的距离即为2条红线之间的距离，但是这并不是相隔最远的投影方向。将椭圆投影到 ${P_{K - L}}$ 方向，得到2类之间的距离为2条绿线之间的距离。这个方向就是用自相关矩阵的统计平均得到的特征向量 ${\Phi _{K - L}}$

设共有M个类别，各类出现的先验概率为

$P({\omega _i}),i = 1,2, \cdots M$

以 ${x_i}$ 表示来自第i类的向量。则第i类集群的自相关矩阵为：

${R_i} = E\left\{ {{x_i}{x_i}^T} \right\}$

混合分布的自相关矩阵R是：

$R = \sum\limits_{i = 1}^M {P({w_i}){R_i}} = \sum\limits_{i = 1}^M {P({w_i})E\left\{ {{x_i}{x_i}^T} \right\}}$

然后求出R的特征向量和特征值：

将特征值降序排列（注意与聚类变换区别）

为了降到m维，取前m个特征向量，构成变换矩阵A

$A = {\left( \begin{array}{l}{\Phi _1}^T\\ \vdots \\{\Phi _m}^T\end{array} \right)_{m \times n}} \Rightarrow y = {A_{m \times n}}{x_{n \times 1}}$

以上便完成了最优描述的K-L变换。

为什么K-L变换是均方误差（MSE，MeanSquare Error）意义下的最佳变换？

$\begin{array}{l}{y^{(n)}} = {\Phi ^T}x\\x = \Phi \cdot {y^{(n)}} = \sum\limits_{j = 1}^n {{y_j}^{(n)}{\Phi _j}} \end{array}$

其中 ${y_j}^{(n)}$ 表示n维向量y的第j个分量， ${\Phi _j}$ 表示第个特征分量。

引入的误差

$\Delta x = x - \hat x = \sum\limits_{j = m + 1}^n {{y_j}^{(n)}{\Phi _j}}$

均方误差为

$\begin{array}{l}{e^2}(m) = E\left\{ {{{\left\| {\Delta x} \right\|}^2}} \right\} = E\left\{ {{{[\Delta x]}^T}[\Delta x]} \right\} = E\left\{ {[\sum\limits_{j = m + 1}^n {{y_j}^{(n)}{\Phi _j}^T} ][\sum\limits_{k = m + 1}^n {{y_k}^{(n)}{\Phi _k}} ]} \right\}\\ = \sum\limits_{j = m + 1}^n {E\left\{ {{{[{y_j}^{(n)}]}^2}} \right\}} = \sum\limits_{j = m + 1}^n {E\left\{ {{{[{\Phi _j}^Tx]}^2}} \right\}} = \sum\limits_{j = m + 1}^n {{\Phi _j}^TR{\Phi _j}} = \sum\limits_{j = m + 1}^n {{\lambda _j}} \end{array}$

从m+1开始的特征值都是最小的几个，所以均方误差得到最小。

以上方法称为最优描述的K-L变换，是沿类间距离大的方向降维，从而均方误差最佳。

本质上说，最优描述的K-L变换扔掉了最不显著的特征，然而，显著的特征其实并不一定对分类有帮助。我们的目标还是要找出对分类作用大的特征，而不应该管这些特征本身的强弱。这就诞生了第2种的K-L变换方法。

其二：最优区分的K-L变换（混合白化后抽取特征）

针对上述问题，最优区分的K-L变换先把混合分布白化，再来根据特征值的分离程度进行排序。

最优区分的K-L变换步骤

首先还是混合分布的自相关矩阵R

$R = \sum\limits_{i = 1}^M {P({w_i}){R_i}} = \sum\limits_{i = 1}^M {P({w_i})E\left\{ {{x_i}{x_i}^T} \right\}}$

然后求出R的特征向量和特征值：

以上是主轴变换，实际上是坐标旋转，之前已经介绍过。

令变换矩阵

${A_1} = {\Lambda ^{ - \frac{1}{2}}}{\Phi ^T}$

则有

${A_1}R{A_1}^T = {\Lambda ^{ - \frac{1}{2}}}{\Phi ^T}R\Phi {\Lambda ^{ - \frac{1}{2}}} = I$

这个 ${A_1}$ 作用是白化R矩阵，这一步是坐标尺度变换，相当于把椭圆整形成圆，如图3所示。

图3

以二类混合分布问题为例。

${R_1} + {R_2} = {A_1}{R_1}{A_1}^T + {A_1}{R_2}{A_1}^T = {A_1}R{A_1}^T = I$

分别求出二类的特征向量和特征值，有

$\begin{array}{*{20}{c}}{{S_1} = {\Phi _1}{\Lambda _1}{\Phi _1}^T}\\{{S_2} = I - {S_1} = {\Phi _1}[I - {\Lambda _1}]{\Phi _1}^T}\end{array} \Rightarrow \begin{array}{*{20}{c}}{{\Phi _2} = {\Phi _1}}\\{{\Lambda _1} + {\Lambda _2} = I}\end{array}$