摘要:
[TOC] 1、基本知识点简介 在集成学习的Boosting提升算法中,有两大家族:第一是AdaBoost提升学习方法,另一种是GBDT梯度提升树。 传统的AdaBoost算法:利用前一轮迭代弱学习器的误差来更新训练集的权重,一轮轮迭代下去。 梯度提升树GBDT:也是通过迭代的算法,使用前向分布算法 阅读全文
摘要:
[TOC] 1、基本知识点简介 在集成学习的Boosting提升算法中,有两大家族:第一是AdaBoost提升学习方法,另一种是GBDT梯度提升树。 传统的AdaBoost算法:利用前一轮迭代弱学习器的误差来更新训练集的权重,一轮轮迭代下去。 梯度提升树GBDT:也是通过迭代的算法,使用前向分布算法 阅读全文
摘要:
[TOC] 1、基本知识点简介 在集成学习的Boosting提升算法中,有两大家族:第一是AdaBoost提升学习方法,另一种是GBDT梯度提升树。 传统的AdaBoost算法:利用前一轮迭代弱学习器的误差来更新训练集的权重,一轮轮迭代下去。 梯度提升树GBDT:也是通过迭代的算法,使用前向分布算法 阅读全文
摘要:
[TOC] 1、KNN近邻法 KNN模型由三个基本要素决定: 距离度量 :其中欧式距离一般误差最小,$x_{i} 和 x_{j}$为两个样本点:$$L_{2}(x_{i}, x_{j}) = (\sum\limits_{l=1}^{n} |x_{i}^{(l)} x_{j}^{(l)}|)$$ k值 阅读全文