摘要:
bagging是从样本集中抽样出子训练集,训练处多个基模型,然后通过投票表决决定最重的越策结果;而boost是每一轮都是用的是同一个数据集,但是样本的权重不同,训练多个基分类器,最终将多个基分类器组合场强分类器。 bagging是又放回的抽样,而boosting使用的是同一个样本集,只是样本的权重不 阅读全文
摘要:
ID3决策树优先选择信息增益大的属性来对样本进行划分,但是这样的分裂节点方法有一个很大的缺点,当一个属性可取值数目较多时,可能在这个属性对应值下的样本只有一个或者很少个,此时它的信息增益将很高,ID3会认为这个属性很适合划分,但实际情况下叫多属性的取值会使模型的泛化能力较差,所以C4.5不采用信息增 阅读全文