摘要：
在信息领域熵（Entropy）是一个很重要的概念。被用来衡量一个随机变量出现的期望值，第一如下Information gain 则定义如下同样的类似于chi square , information gain 也被用来衡量特征与类别之间的独立性的。所以这种方法可以被用于特征选择中来，选择IG较大的几个特征。但是这种方法显然没有考虑到特征 与特征之间的冗余性。FCBF为了要衡量特征与特征之间的关系，Lei Yu 提出了FCBF （Fast correlation based filter solution）算法首先我们来研究一下information gain 的一个小性质这个可以通过来解决。所 阅读全文
摘要：
Relief 被认为是一种评估特征质量的非常成功的算法。Relief的伪代码：Initialization:given ,set , for t=1:T Randomly select a pattern x from D; Find the nearest hit NH(x) and the miss NM(x) of x ; for i=1: ... 阅读全文