决策树 ID3 C4.5

begin

应用最广的分类算法之一，模型学习的结果是一棵决策树，这棵决策树可以被表示成多个if-else的规则。决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树：

 

这样使得每一个叶子节点都是在空间中的一个不相交的区域。学习得到如上这棵决策树之后，当输入一个待分类的样本实例进行决策的时候，我们就可以根据这个样本的两个特征（x, y）的取值来把这个样本划分到某一个叶子节点，得到分类结果了，这就是决策树模型的分类过程，决策树的学习算法有ID3算法和C4.5算法等。