机器学习（三）CART

一、基本理论

分类于回归决策树模型（classification and regression，CART）相对于前面的纯分类决策树，之前的纯分类决策树中主要是通过一些构造好的互斥完备的规则来对样本进行类别划分，而CART主要是利用决策树将特征空间划分成有限个单元，并在这些单元上确定预测的概率分布。

CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布。CART假设决策树是二叉树，内部节点特征取值为是否，输出的是给定条件下的条件概率分布，而不是确定的类别结果。这个算法和前面的ID3算法类似，也是有生成和剪枝构成，但是原则不再是信息增益和信息增益比，而是平方误差最小化（回归树）和基尼指数（分类树）。