决策树之特征选择
特征选择（节点划分）
一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”(purity)越来越高。
符号声明
假设当前样本集合\(D\)中第\(k\)类样本所占的比例为\(p_k\:(k=1,2,...,|\mathcal Y|))\)，离散属性\(a\)有\(V\)个可能的取值\(\{a^1,a^2,...,a^V\}\)，若使用\(a\)来对样本集\(D\)进行划分，则会产生\(V\)个分支结点，其中第\(v\)个分支结点包含了\(D\)中所有在属性\(a\)上取值为\(a^v\)的样本，记作\(D^v\)。
样本集合\(D\)的信息熵定义为
\[Ent(D)=-\sum_{k=1}^\mathcal{|Y|} p_k\log_2{p_k}
\]
1. 信息增益
\[Gain(D,a) = Ent(D)-\sum_{v=1}^{V} \frac{|D^v|}{|D|}Ent(D^v)\tag{1}
\]
实际上，信息增益准则对可取数目较多的属性有所偏好。
2. 增益率
\(C4.5\)决策树算法选择增益率(gain ratio)来选择最优划分属性。
\[Gain\_ratio(D, a)=\frac{Gain(D,a)}{IV(a)} \tag{2}
\\
s.t. \quad IV(a)=-\sum_{v=1}^{V}\frac{|D^v|}{|D|}\log_2\frac{|D^v|}{|D|}
\]
\(IV(a)\)称作属性\(a\)的固有值(intrinsic value)。
需注意的是，增益率准则对可取值较少的属性有所偏好，因此，\(C4.5\)算法并不是直接选择增益率最大的候选划分属性，而是使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
\[\begin{aligned}
\text{数据集$D$的纯度：} \\
Gini(D) &= \sum_{k=1}^{\mathcal{|Y|}}\sum_{k' \neq k}p_k p_{k'}\\
&= 1-\sum_{k=1}^{\mathcal{|Y|}}p_k^{2}
\end{aligned}
\]
直观来讲，\(Gini(D)\)反映了从数据集\(D\)中随机抽取两个样本，其类别标记不一致的概率。因此，\(Gini(D)\)越小，则数据集\(D\)的纯度越高。
属性\(a\)的基尼指数：
\[Gini\_index(D,a) = \sum_{v=1}^{V} \frac{|D^v|}{|D|}Gini(D^v)
\tag{3}
\]
于是，我们在候选属性集合\(A\)中，选择那个使得划分后基尼指数最小的属性作为最优划分属性，即：
\[a_* = \underset{a\in A}{\arg \min}\: Gini\_index(D,a) \]
