简介

一种对实例进行分类的树形结构,通过多层判断区分目标所属类别
本质:通过多层判断,从训练数据集中归纳出一组分类规则

优点:
计算量小,运算速度较快
易于理解,可清晰查看各属性的重要性

缺点:

  1. 忽略属性间的相关性
  2. 样本类别分布不均匀时,容易影响模型表现

问题核心:特征选择, 每一个节点,应该选用哪个特征。

三种求解方法
ID3,C4.5,CART

ID3: 利用信息熵原理选择信息增益最大的属性作为分类属性,递归地拓展决策树的分支,完成决策树的构造

\[Ent(D) = - \sum^{|y|}_{k=1}{p_k log_{2}{p_k}} \]

\(Ent(D)\)的值越小,变量的不确定性越小 \(p_k = 1\)时: \(Ent(D) = 0\)

根据信息熵,可以计算以属性a进行样本划分带来的信息增益:
\(Gain(D,a)=Ent(D)-\sum^V_{v=1}{\frac{D^v}{D}Ent(D^v)}\)
V为根据属性a划分出的类别数、D为当前样本总数,\(D^v\)为类别V样本数

\(Ent(D)\) 划分前的信息熵

\(\sum^V_{v=1}{\frac{D^v}{D}Ent(D^v)}\) 划分后的信息熵

目标: 划分后样本分布不确定性尽可能小,即划分后信息熵小,信息增益大

posted on 2022-04-22 10:44  HDU李少帅  阅读(77)  评论(0编辑  收藏  举报