08 2022 档案
基于lightGBM的交易诈骗案例检测
摘要:一、数据预处理 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.preprocessing import LabelEncoder fr
监督学习集成模型——对比与调参
摘要:一、三大Boosting算法对比 XGBoost、LightGBM和CatBoost都是目前经典的SOTA(state of the art)Boosting算法,都可以归入梯度提升决策树算法系列。这三个模型都是以决策树为支撑的集成学习框架,其中XGBoost是对原始版本GBDT算法的改进,而Lig
基于决策树、随机森林的宽带客户流失预测
摘要:一、数据探索 import pandas as pd import numpy as np # 1: 加载数据文件,查看数据信息 df = pd.read_csv('broadband.csv') df.head() # broadband 即可:0-离开,1-留存 | | CUST_ID | GE
监督学习集成模型——LightGBM
摘要:LightGBM的全称为Light Gradient Boosting Machine,即轻量的梯度提升机,由微软在其论文“LightGBM: A Highly Efficient Gradient Boosting Decision Tree”中提出,作为与XGBoost并驾齐驱的SOTA Boo
监督学习集成模型——XGBoost
摘要:一、XGBoost原理 XGBoost的全称为eXtreme Gradient Boosting,即极度梯度提升树,由陈天奇在其论文“XGBoost: A Scalable Tree Boosting System:https://arxiv.org/pdf/1603.02754.pdf 中提出,一
支持向量机
摘要:一、背景介绍 1963年,贝尔实验室的Vanpik首次提出了支持向量机的理论模型和方法。 20世纪90年代,一些新兴方法如神经网络等研究遭受重大困难,支持向量机一度成为主流的统计学习模型。在早期的模式识别中,支持向量机有着非常广泛的应用。人脸检测、语音识别、图像分类、字符识别、文本分类等领域均有应用
监督学习集成模型——GBDT
摘要:一、梯度提升树 提升是一类将弱学习器提升为强学习器的算法总称。 提升树(boosting tree)就是弱学习器为决策树的提升方法。针对提升树模型,加性模型和前向分步算法的组合是典型的求解方式。当损失函数为平方损失和指数损失时,前向分步算法(通过一轮轮的弱学习器学习,利用前一个弱学习器的结果来更新后
监督学习集成模型——AdaBoost
摘要:一、集成学习与Boosting 集成学习是指将多个弱学习器组合成一个强学习器,这个强学习器能取所有弱学习器之所长,达到相对的最佳性能的一种学习范式。 集成学习主要包括Boosting和Bagging两种学习框架。Boosting是一种将弱学习器提升为强学习器的算法,所以也叫提升算法。 以分类问题为例
决策树算法
摘要:决策树(decision tree)是一类最常见、最基础的机器学习算法。决策树基于特征对数据实例按照条件不断进行划分,最终达到分类或回归的目的。 决策树模型的核心概念包括特征选择方法、决策树构造过程和决策树剪枝。常见的特征选择方法包括信息增益、信息增益比和基尼指数(Gini index),对应的三种
监督学习集成模型——随机森林
摘要:Boosting与Bagging Boosting和Bagging都是机器学习中一种集成学习框架。集成学习的意思是将多个弱分类器组合成一个强分类器,这个强分类器能取所有弱分类器之所长,达到相对的最优性能。 Boosting的一般过程如下。以分类问题为例,给定一个训练集,训练弱分类器要比训练强分类器容