特征选择常用算法综述
特征选择的一般过程:
1.生成子集:搜索特征子集,为评价函数提供特征子集
2.评价函数:评价特征子集的好坏
3.停止准则:与评价函数相关,一般是阈值,评价函数达到一定标准后就可停止搜索
4.验证过程:在验证数据集上验证选出来的特征子集的有效性
1.生成子集
搜索算法有 完全搜索、启发式搜索、随机搜索 三大类。
(1)完全搜索
<1>宽搜(Breadth First Search):时间复杂度高,不实用
<2>分支界限搜索(Branch and Bound):其实就是宽搜加上深度的限制
<3>定向搜索(Beam Search):其实算是启发式的一种,对宽搜加上每次展开结点数的限制以节省时间空间,对于展开那几个结点由启发式函数确定
<4>最优优先算法(Best First Search):也是有启发式函数,对宽搜取最优结点进行展开
(2)启发式搜索
<1>序列前向选择(SFS , Sequential Forward Selection)
特征子集X从空集开始,每次选择能使得评价函数J(X)最优的一个特征x加入,其实就是贪心算法,缺点是只加不减
<2>序列后向选择(SBS , Sequential Backward Selection)
和SFS相反,从特征全集开始,每次选择使评价函数J(X)最优的特征x剔除,也是贪心,缺点是只减不增
<3>双向搜索(BDS , Bidirectional Search)
SFS和SBS同时开始,当两者搜索到同一个特征子集时停止。
<4>增L去R选择算法(LRS , Plus-l Minus-R Selection)
形式一:从空集开始,每次加L个特征,去除R个特征,使得J最优
形式二:从全集开始,每次去除R个特征,加入L个特征,使J最优。
<5>序列浮动选择(Sequential Floating Selection)
该算法由增L去R发展,不同之处在于L和R是会变化的,它结合了序列前后向选择、增L去R的特点并弥补了缺点。
①序列浮动前向选择(SFFS , Sequential Floating Forward Selection)
从空集开始,每轮选择子集x加入使得J最优,再选择子集z剔除使得J最优。
②序列浮动后向选择(SFBS , Sequential Floating Backward Selection)
与①相反,从全集开始,先剔除再加入。
<6>决策树(Decision Tree Method , DTM)
一般使用信息增益作为评价函数,待决策树生长后再进行剪枝,最后留下的叶子就是特征子集。
(3)随机算法
<1>随机产生序列选择算法(RGSS, Random Generation plus Sequential Selection)
随机产生特征子集,然后执行SFS或SBS,可作为SFS和SBS的补充,用于跳出局部最优解。
<2>模拟退火算法( SA, Simulated Annealing )
模拟退火可在一定程度上避免陷入局部最优,但是可能难以求解。
<3>遗传算法(GA, Genetic Algorithms)
首先随机产生一批特征子集,并用评价函数给这些特征子集评分,然后通过交叉、突变等操作繁殖出下一代的特征子集,并且评分越高的特征子集被选中参加繁殖的概率越高。这样经过N代的繁殖和优胜劣汰后,种群中就可能产生了评价函数值最高的特征子集。
2.评价函数
用于评价特征子集的好坏,主要分为Filter和Wrapper
(1)Filter
其实就是预处理,利用训练集自身的特点筛选出特征子集后再送入分类器进行学习,与分类器的选择无关。
(2)Wrapper
封装器用选取的特征子集对训练集进行分类,分类的精度作为衡量特征子集好坏的标准。
常见的评价函数有:
(1)相关性
基于假设:好的特征子集所包含的特征应该是与分类的相关度较高,而特征之间相关度较低
线性相关系数
(2)距离/相似度
基于假设:好的特征子集应该使得属于同一类的样本距离尽可能小,属于不同类的样本之间的距离尽可能远
常用相似度计算
(3)信息增益
之前讲过了,信息增益体现特征子集的出现对系统信息量的增加。
(4)一致性
若样本1与样本2属于不同的分类,但在特征A、 B上的取值完全一样,那么特征子集{A,B}不应该选作最终的特征集。
(5)分类器错误率
用分类的精度作为评判标准。
对于文本分类的文本特征提取,大都采用Filter方法进行特征提取,无论是基于词频的VSM方法还是基于语义的方法,大都是通过计算公式对每个特征项进行打分,
最后选择得分最高的k项形成特征子集。Wrapper方法用的很少,我自己认为是文本特征项数量巨大,对于上述不断生成特征子集再去评价实在太慢了,wrapper方法
也是因为效率不高而被舍弃。
注:上述特征选择常用算法综述摘自博客 http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html
posted on 2015-11-10 21:19 IvanSSSS 阅读(12662) 评论(0) 编辑 收藏 举报