决策树原理和实现（一）

前言：决策树（Decision Tree）是一种基本的分类与回归方法，本文主要讨论分类决策树。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以是认为if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，决策树的优势在于构造过程中不需要设置任何领域知识或者参数设置，因此在实际应用中，对于探测式的知识发现，决策树更加适用。

 

一、决策树模型：

分类决策树模型是一种描述对实例进行分类的树形结构，分类决策树由节点和有向边组成，节点有两种类型：内部节点和叶节点，内部节点树形表示一个特征或属性，叶节点表示一个类。

分类的时候，从根节点开始，对实例的某一项特征进行测试，根据测试结果，将实例分配给其叶子节点；此时，每一个节点对应该特征的一个取值。如此递归向下移动，直到达到叶节点，最后将实例分配到叶节点的类中。