信息增益与决策树

1. 何为信息增益（Information Gain）？

信息增益是特征选择中的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。

IG 是用来衡量一个属性区分数据样本的能力。IG越大，这个属性作为一棵树的根节点就能使这棵树更简洁。

 

2. 如何计算信息增益？（利用熵）

 熵的概念源于信息论中：

熵（Entropy）是表示随机变量不确定性的度量。

 

熵越大，随机变量的不确定性就越大。从定义可验证 0 ≤ H(p) ≤ log n

李航-《统计学习方法》决策树-信息增益。P60