决策树

简介

一种对实例进行分类的树形结构，通过多层判断区分目标所属类别
本质：通过多层判断，从训练数据集中归纳出一组分类规则

优点：
计算量小，运算速度较快
易于理解，可清晰查看各属性的重要性

缺点：

1. 忽略属性间的相关性
2. 样本类别分布不均匀时，容易影响模型表现

问题核心：特征选择， 每一个节点，应该选用哪个特征。

三种求解方法
ID3，C4.5，CART

ID3： 利用信息熵原理选择信息增益最大的属性作为分类属性，递归地拓展决策树的分支，完成决策树的构造

$$Ent(D) = - \sum^{|y|}_{k=1}{p_k log_{2}{p_k}}$$

$Ent(D)$的值越小，变量的不确定性越小 $p_k = 1$时： $Ent(D) = 0$

根据信息熵，可以计算以属性a进行样本划分带来的信息增益：
$Gain(D,a)=Ent(D)-\sum^V_{v=1}{\frac{D^v}{D}Ent(D^v)}$
V为根据属性a划分出的类别数、D为当前样本总数，$D^v$为类别V样本数

$Ent(D)$ 划分前的信息熵

$\sum^V_{v=1}{\frac{D^v}{D}Ent(D^v)}$ 划分后的信息熵

目标： 划分后样本分布不确定性尽可能小，即划分后信息熵小，信息增益大