11 2022 档案
摘要：XGBoost关键思想： 实现精确性与复杂度之间的平衡 树模型的学习能力与过拟合风险之间的平衡，就是预测精度与模型复杂度之间的平衡，也是经验风险与结构风险之间的平衡 在过去，我们总是先建立效果优异的模型，在依赖于手动剪枝来调节树模型的复杂度；在XGBoost中，精确性与复杂度在训练的每一步被考虑到
阅读全文
摘要：GBDT 简述 梯度提升树：使用损失函数的负梯度在当前模型的值求解更为一般的提升树模型，这种基于负梯度求解提升树前向分布迭代过程叫做梯度提升树 GBDT 可以适用于回归问题（线性和非线性）其实多用于回归； GBDT 也可用于二分类问题（设定阈值，大于为正，否则为负）和多分类问题 GBDT使用的决策树
阅读全文
摘要：【集成算法专题】：Boosting与AdaBoost 1. Boosting的基本思想和基本元素 装袋法Bagging：降低方差来降低整体泛化误差 提升法Boosting：降低整体偏差来降低泛化误差 Bagging PK Boosting： | | 装袋法 Bagging | 提升法 Boostin
阅读全文
摘要：1. 集成学习三大领域 集成学习（Ensemble learning）方法会训练多个弱评估器（base estimators），并将他们的输出结果以某种方式结合起来解决一个问题。 模型融合 投票法Voting、堆叠法Stacking、混合法Bleding，被融合的模型需要是强分类器 弱分类器集成 装
阅读全文
摘要：1. 决策树 概念：是一种非参数的有监督学习方法，他能从一系列有特征和标签的数据中总结出决策规则，并用树状图来呈现这些规则，以解决分类和回归问题。 思想：决策树基于特征对数据实例按照条件不断进行划分，最终达到分类或者回归的目的。 决策树可以看作为是一组if-then规则的合集，为决策树的根节点到叶子
阅读全文
