特征选择（一）- 维数问题与类内距离

原文地址：http://blog.csdn.net/ycheng_sjtu/article/details/25343043

什么是特征选择？

简单说，特征选择就是降维。

特征选择的任务

就是要从n维向量中选取m个特征，把原向量降维成为一个m维向量。但是降维必须保证类别的可分离性或者说分类器的性能下降不多。

注意降维具有片面性，算法并不普适。常常会有失效发生。

降维这件小事

在图像处理中叫做图像压缩、特征提取。重在最优区分（可分离性）。

在模式识别中叫做特征选择。重在最优描述（保真性）。

降维的基本思想

就是找一个线性变换 ${A_{m \times n}}$ 使得原来的n维观察值 ${x_n}$ 变成了

${x_m} = {A_{m \times n}}{x_n}$

这样维数就下降了，只是要求不能明显降低类别的可分离性就好。本文介绍的都是线性变换。

为什么要降维？

1.有可能当你使用某个特征就能进行很好的分类，譬如一个二维问题很可能变成一维也可以分类，如图1所示，把原来的样本向y轴投影就好了，用一个y分量就能完成分类。可见降维确实很有用，关键在于如何找到像y方向这么好的特征呢？

图1

2.当特征的维数上升后，样本的可分离性自然是会增加。但是，类别的可分离性和分类器的性能是完全不同的两码事。

G.F.Hughes给出了错误率 $P(e)$ 跟每次试验中的训练样本数n和特征空间块数M之间的关系曲线，如图2所示。

图2

其中d为维数，l是每维分为的段数。则特征空间块数

$M = {l^d} \Rightarrow d = \frac{{\ln M}}{{\ln l}}$

由图可见随着维数的继续增加，错误率会持续上升。我们不能盲目增加维数来想当然提高分类性能。

3.维与维之间不一定是独立的，可能因为相关性而存在冗余。

4.维数大了计算量存储量就大了嘛。

用什么分类？

还是用距离。

点到点

设k为每个点的分量的下标，则点a到点b之间的距离为：

$D\left( {a,b} \right) = \sqrt {\sum\limits_{k = 1}^n {{{({a_k} - {b_k})}^2}} }$

点到点集

假定点集 $\left\{ {{a^i}} \right\}$ 内共有K个点， ${a^i}_k$ 表示点集中第i个点的第k个分量：

$D\left( {x,\left\{ {{a^i}} \right\}} \right) = \sqrt {\frac{1}{K}\sum\limits_{i = 1}^K {\left[ {\sum\limits_{k = 1}^n {{{({x_k} - {a^i}_k)}^2}} } \right]} }$

类内距离

有一种定义类内距离的方法，它把类内所有点两两之间的距离的平均，作为类内距离。下面推导其表达式：

类内某点跟其他点之间的距离的平方：

${D^2}\left( {{a^j},\left\{ {{a^i}} \right\}} \right) = \frac{1}{{K - 1}}\sum\limits_{i = 1}^K {\left[ {\sum\limits_{k = 1}^n {{{({a^j}_k - {a^i}_k)}^2}} } \right]}$

再j令在集内变化，取平均，就得到类内距离，即：

${D^2}\left( {\left\{ {{a^j}} \right\}\left\{ {{a^i}} \right\}} \right) = \frac{1}{K}\sum\limits_{j = 1}^K {\left[ {\frac{1}{{K - 1}}\sum\limits_{i = 1}^K {\sum\limits_{k = 1}^n {{{({a^j}_k - {a^i}_k)}^2}} } } \right]} = \frac{1}{{K(K - 1)}}\sum\limits_{j = 1}^K {\sum\limits_{i = 1}^K {\sum\limits_{k = 1}^n {{{({a^j}_k - {a^i}_k)}^2}} } }$

$= \frac{K}{{K - 1}}\sum\limits_{k = 1}^n {[\overline {{{(a_k^j)}^2}} - 2\overline {a_k^j} \overline {a_k^i} + \overline {{{(a_k^i)}^2}} ]}$

由于 ${a^i}$ 和 ${a^j}$ 都取自同一类内，则有

$\overline {(a_k^j)} = \overline {(a_k^i)} ,\overline {{{(a_k^j)}^2}} = \overline {{{(a_k^i)}^2}}$

${D^2} = \frac{K}{{K - 1}}\sum\limits_{k = 1}^n {[2\overline {{{(a_k^j)}^2}} - 2\overline {{{(a_k^i)}^2}} ]} = \frac{{2K}}{{K - 1}}\sum\limits_{k = 1}^n {[\overline {{{(a_k^j)}^2}} - \overline {{{(a_k^i)}^2}} ]}$

各分量的方差的无偏估值为：

${({\delta _k})^2} = \frac{1}{{K - 1}}\sum\limits_{i = 1}^k {{{(a_k^i - \overline {a_k^i} )}^2}} = \frac{K}{{K - 1}}[\overline {{{(a_k^i)}^2}} - {(\overline {a_k^i} )^2}]$

则有

${D^2} = 2\sum\limits_{k = 1}^n {{\sigma _k}^2} = 2trC$

这不是协方差的迹么？

于是得到结论：类内距离为类协方差矩阵迹的2倍。

推论：某类样本的协方差矩阵的迹很小，则类内距离小，说明数据抱团，很紧凑。

于是你会想，降维其实就是找个变换，让变换后的数据各个类别抱团更加紧凑就好了。就是这样没错。

那么，怎么降维？

刚刚已经给出了类内距离的概念。

针对这个概念，有人从完全不同的两个角度给出了方法。

这就是聚类变换与K-L变换。

posted on 2017-03-13 16:27 会飞的蝸牛阅读(3329) 评论(0) 编辑收藏举报

刷新页面返回顶部

数据科学家成长之旅

特征选择（一）- 维数问题与类内距离

导航