特征降维（1）：总述

一、特征规约/降维：去掉可分性不强和冗余的特征

1. 特征选择：去掉可分性不强的特征
2. 特征抽取/变换：去掉多余的特征，即抽取出来的特征不存在线性or非线性关系

=============================================================================

二、特征选择：根据在特征选择过程有无使用学习算法，特征选择可以分为：

1. Filter：criterion为根据subset evolution or term evolution 的好坏

   So,属性子集评估器+搜索算法 or     单一属性评估器+排序方法

2. Wrapper：criterion为根据分类器评价的好坏

=============================================================================

2.1、Filter：首先计算出每个特征的重要程度，再来进行特征子集的选择

1、互信息：

2、信息增益：重要程度的criterion为该特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。

    信息增益：信息量的差值。

3、交叉熵：

4、卡方统计：