【特征选择】过滤式特征选择法

# 过滤式特征选择法的原理

          使用发散性或相关性指标对各个特征进行评分,选择分数大于阈值的特征或者选择前K个分数最大的特征。具体来说,计算每个特征的发散性,移除发散性小于阈值的特征/选择前k个分数最大的特征;计算每个特征与标签的相关性,移除相关性小于阈值的特征/选择前k个分数最大的特征。

# 过滤式特征选择法的特点

          特征选择过程与学习器无关,相当于先对初始特征进行过滤,再用过滤后的特征训练学习器。过滤式特征选择法简单、易于运行、易于理解,通常对于理解数据有较好的效果,但对特征优化、提高模型泛化能力来说效果一般。

# 常用的过滤式特征选择法

  • 方差选择法(发散性)

             使用方差作为特征评分标准,如果某个特征的取值差异不大,通常认为该特征对区分样本的贡献度不大,因此在构造特征过程中去掉方差小于阈值的特征。注意:方差选择法适用于离散型特征,连续型特征需要须离散化后使用;方差较小的特征很少,方差选择法简单但不好用,一般作为特征选择的预处理步骤,先去掉方差较小的特征,然后使用其他特征选择方法选择特征。

# -*- coding: utf-8 -*-
# 载入数据
from sklearn.datasets import load_iris
iris = load_iris()
print("iris特征名称\n",iris.feature_names)
print("iris特征矩阵\n",iris.data)

# 特征选择--方差选择法
from sklearn.feature_selection import VarianceThreshold
vt = VarianceThreshold(threshold = 1)  # threshold为方差的阈值,默认0
vt = vt.fit_transform(iris.data)       # 函数返回值为特征选择后的特征
print("方差选择法选择的特征\n",vt)
  • 卡方检验法(相关性)(分类问题)

          使用统计量卡方检验作为特征评分标准,卡方检验值越大,相关性越强(卡方检验是评价定性自变量对定性因变量相关性的统计量)

# -*- coding: utf-8 -*-
# 载入数据
from sklearn.datasets import load_iris
iris = load_iris()

# 特征选择
from sklearn.feature_selection import SelectKBest # 移除topK外的特征
from sklearn.feature_selection import chi2        # 卡方检验

skb = SelectKBest(chi2,k=2)
new_data = skb.fit_transform(iris.data,iris.target)
  • 皮尔森相关系数法法(相关性)(回归问题)

          使用pearson系数作为特征评分标准,相关系数绝对值越大,相关性越强(相关系数越接近于1或-1时,相关性越强;相关系数越接近于0时,相关性越弱)。特点:皮尔森相关系数法能够衡量线性相关的特征集。

# -*- coding: utf-8 -*-
# 载入数据
from sklearn.datasets import load_iris
irisdata = load_iris()

# 特征选择(pearson相关系数法)
from sklearn.feature_selection import SelectKBest  # 移除topK外的特征
from scipy.stats import pearsonr                   # 计算皮尔森相关系数
from numpy import array

"""
# 函数返回值:保留topk特征,移除topk外特征
# 第一个参数:皮尔森相关系数(输入特征矩阵和目标向量,输出二元组(评分,P),二数组第i项为第i个特征的评分和p值
# 第二个参数:topK个数
"""
skb = SelectKBest(lambda X, Y: tuple(map(tuple,array(list(map(lambda x:pearsonr(x, Y), X.T))).T)), k=3)
skb = skb.fit_transform(irisdata.data, irisdata.target)
  • 互信息系数法(相关性)

特点:互信息系数法能够衡量各种相关性的特征集,计算相对复杂。

posted @ 2018-04-30 15:00  wanglei5205  阅读(8509)  评论(0编辑  收藏  举报
levels of contents