随笔分类 - 机器学习算法
摘要:AdaBoost:通过改变训练样本权重来学习多个弱分类器并线性组合成强分类器的Boosting算法。 Boosting方法要解答的两个关键问题:一是在训练过程中如何改变训练样本的权重或者概率分布,二是如何将多个弱分类器组合成一个强分类器。 AdaBoost的做法:一是提高前一轮被弱分类器分类错误的样
阅读全文
摘要:决策树基于特征对数据实例按照条件不断划分,最终达到分类或者回归的目的 决策树模型的核心概念包括特征选择方法,决策树构造过程和决策树剪枝 常见的特征选择方法包括信息增益,信息增益比和基尼指数,对应的三种常见的决策树算法为ID3,C4.5,CART 下面借助sklearn库来完成上述算法的实现: 首先导
阅读全文