摘要：
前面的一篇博客：分类算法之决策树介绍了决策树算法,从介绍中可以发现,决策树有些与生俱来的缺点： 1：分类规则复杂 决策树算法在产生规则的时候采用局部贪婪法。每次都只选择一个属性进行分析构造决策树，所以再产生的分类规则往往相当复杂。 2：收敛到非全局的局部最优解 ID3算法每次在树的某个层次进行属性选择时,它不再回溯重新考虑这个选择,所以它容易产生盲人登山中常见的风险,仅仅收敛到非全局的局部最优解。 3：过度拟合 在决策树学习中,由于分类器过于复杂，它可能会过于适应噪声,从而导致过度拟合问题。 为了克服以上的缺点,引入了另外一个预测模型-----随机... 阅读全文
