GBDT算法原理
摘要：目录 一、GBDT 二. GBDT回归树基本模版 三. GBDT的算法描述 3.1 GBDT的损失函数 3.1.1 梯度提升回归树损失函数介绍 3.1.2 梯度提升分类树损失函数介绍 3.2 GBDT回归算法描述 3.2.1 平方损失GBDT算法描述 3.2.2 绝对损失GBDT算法描述 3.2.3
阅读全文
posted @
2020-09-10 10:14
小小喽啰
阅读(1638)
推荐(0) 编辑
AdaBoosts算法原理
摘要：我们带着问题去思考： 弱学习器的权重系数 α 如何计算？ 样本点的权重系数 w 如何更新？ 学习的误差率 e 如何计算？ 最后使用的结合策略是什么？ 一、AdaBoost基本原理介绍 1,1AdaBoost分类问题 以二分类为例，假设给定一个二类分类的训练数据集，其中表示样本点，表示样本对应的类别，
阅读全文
posted @
2020-09-09 17:38
小小喽啰
阅读(984)
推荐(1) 编辑
Random Forest随机深林集成算法
摘要：一、什么是随机深林 随机森林（Random Forest，简称RF）就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。随机森林的名称中有两个关键词，一个是“随机”，一个就是“森林”。“森林”我们
阅读全文
posted @
2020-09-01 19:46
小小喽啰
阅读(455)
推荐(0) 编辑
GBDT参数理解
摘要：GBDT 适用范围 GBDT 可以适用于回归问题（线性和非线性）其实多用于回归；GBDT 也可用于二分类问题（设定阈值，大于为正，否则为负）和多分类问题 RF与GBDT之间的区别与联系 1）相同点： 都是由多棵树组成 最终的结果都由多棵树共同决定。 2）不同点： 组成随机森林的树可以分类树也可以是回
阅读全文
posted @
2020-08-28 15:22
小小喽啰
阅读(3724)
推荐(0) 编辑
GBDT 梯度提升决策树（集成学习）简单理解
摘要：一、基本概念 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，全称梯度提升决策树，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
阅读全文
posted @
2020-08-28 11:37
小小喽啰
阅读(729)
推荐(0) 编辑
boosting算法
摘要：一、boosting算法 boosting是一种集成学习算法，由一系列基本分类器按照不同的权重组合成为一个强分类器，这些基本分类器之间有依赖关系。包括Adaboost算法、提升树、GBDT算法 一、Adaboost算法 AdaBoost方法的自适应在于：前一个分类器分错的样本会被用来训练下一个分类器
阅读全文
posted @
2020-08-27 15:11
小小喽啰
阅读(3417)
推荐(0) 编辑
Bagging算法
摘要：目录 什么是集成学习 Bagging算法 Bagging用于分类 Bagging用于回归 一、什么是集成学习 集成学习是一种技术框架，它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务，一般结构是：先产生一组“个体学习器”，再用某种策略将它们结合起来，目前，有三种常见的
阅读全文
posted @
2020-08-26 19:47
小小喽啰
阅读(9709)
推荐(2) 编辑
