《特征工程三部曲》之二：特征选择
什么特征选择
- 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
为什么要做特征选择
在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：
特征个数越多，分析特征、训练模型所需的时间就越长。
特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。
特征选择能剔除不相关(irrelevant)或亢余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化了模型，使研究人员易于理解数据产生的过程。
特征选择基本原则
数据预处理完成之后，我们需要选择有意义的特征，输入机器学习的算法和模型进行训练，通常来说，从两个方面考虑来选择特征
如何选择特征
是否发散
是否相关
如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本没有差异，那我们就可以判断，这个特征对于样本的区别并没有什么用
第二个是特征与目标的相关性，与目标相关性高的特征应该优先选择
特征选择常用的四种方法
我们以互联网金融实际情景举例：
- 说白了，特征选择，就是看累计销售和用户忠诚度评分能不能成为金融产品的特征，我们会有一系统的评估标准，当然这些评估标准也都有人为主观判断在的。
（一）方差选择法(过滤法)
- 使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码如下：
#首先把数据导入到data变量中
import pandas
data=pandas.read_csv('路径.csv')
#使用VarianceThreshold类进行方差过滤
from sklearn.feature_selection import VarianceThreshold
#要生成这个类的对象，就需要一个参数，就是最小方差的阈值，我们先设置为1，然后调用它的transform方法进行特征值的过滤
variancethreshold=VarianceThreshold(threshold=1)
variancethreshold.fit_transform(data[['累计销售（亿）','用户忠诚度评分']])
#使用get_support方法，可以得到选择特征列的序号，然后根据这个序号在原始数据中把对应的列名选择出来即可
varianceThreshold.get_support()threshold=1两个特征都被显示出来了
为什么阈值设定为1，累计销售与用户忠诚度这两个特征都被选择了出来？
首先我们看下累计销售与用户忠诚度各自的方差是什么？
#看下这两个特征的方差是什么？
data[['累计销售（亿）','用户忠诚度评分']].std()（二）相关系数法
- 先计算各个特征对目标值的相关系数，选择更加相关的特征。
以互联网金融行业为例
#首先导入数据到data变量中
import pandas
data=pandas.read_csv('路径.csv')
#然后，SelectKBest类，通过回归的方法，以及要选择多少个特征值，新建一个 SelectKBest对象，
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import f_regression
selectKBest = SelectKBest(
f_regression,k=2
)
#接着，把自变量选择出来，然后调用fit_transform方法，把自变量和因变量传入，即可选出相关度最高的两个变量。
feature =data[['月份','季度','广告推广费','注册并投资人数']]
bestFeature =selectKBest.fit_transform(
feature,
data['销售金额']
)
#我们想要知道这两个自变量的名字，使用get_support方法即可得到相应的列名
feature.columns[selectKBest.get_support()]最终，python帮助我们选择的特征是：
（三）递归特征消除法
- 使用一个基模型来进行多轮训练，经过多轮训练后，保留指定的特征数。
还是延用上面那个案例
#首先导入数据到data变量中
import pandas
data=pandas.read_csv('路径.csv')
#接着，我们使用RFE类，在estimator中，把我们的基模型设置为线性回归模型LinearRegression,然后在把我们要选择的特征数设置为2，接着就可以使用这个rfe对象，把自变量和因变量传入fit_transform方法，即可得到我们需要的特征值
from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression
feature =data[['月份','季度','广告推广费','注册并投资人数']]
rfe =RFE(
estimator=LinearRegression(),
n_features_to_select=2
)
sFeature = rfe.fit_transform(
feature,
data['销售金额']
)
#同理，我们要想知道这两个自变量的名字，使用get_support方法，即可得到对应的列名
rfe.get_support()（四）模型选择法
- 它是一种我们把建好的模型对象传入选择器，然后它会根据这个已经建好的模型，自动帮我吗选择最好的特征值。
还是延用上面那个案例
import pandas
data = pandas.read_csv('file:///Users/apple/Desktop/jacky_2.csv',encoding='GBK')
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LinearRegression
feature =data[['月份','季度','广告推广费','注册并投资人数']]
lrModel = LinearRegression()
selectFromModel = SelectFromModel(lrModel)
selectFromModel.fit_transform(
feature,
data['销售金额']
)
selectFromModel.get_support()- 这里jacky就强调一点，模型选择法并不需要指定我们需要多少个特征，selectFromModel的方法会自动帮我们选择最优的特征数
总结
对于特征选择来说，其实是非常简单的，科学总把简单的问题说的如此的复杂，在彰显它严谨的同时，也是不想让太多的人进入科学这个圈子，因为它真的太简单了。
有时间的小伙伴可以思考一下，特征选择的第一个方法对应的就是发散性，后面三个方法对应的就是回归。我们细细琢磨，后三个方法其实是一回事，但是得到的结果却略有不同，参透这其中的道理，也就参透数据挖掘和机器学习的奥秘了。
