摘要： 决策树是一种基本的分类与回归方法。以分类为例，可以认为是if then规则的集合，也可以认为是定义在特征空间与类别空间上的条件概率分布。一般分为三个步骤：特征选择，决策树生成，决策树剪枝。 熵与条件熵 熵是度量随机变量不确定性（集合不纯度）的一种指标。$X$是一个取有限个值得离散随机变量，其概率分布 阅读全文