随笔分类 -  机器学习

GBDT：原理及python实现
摘要：Table of Contents 1 GBDT概述2 GBDT回归(提升树)2.1 算法流程2.2 python实现3 GBDT分类3.1 算法流程3.2 python实现3.3 多分类 GBDT概述 GBDT(Gradient Boosting Decision Tree)梯度提升树是一种以决策 阅读全文
posted @ 2022-01-19 20:37 HH丶丶 阅读(1495) 评论(0) 推荐(0)
Adaboost：原理及python实现
摘要：Table of Contents 1 Adaboost概述2 分类2.1 算法流程2.2 Adaboost的前向分步算法解释2.3 python实现3 回归 Adaboost概述 Boosting提升方法是集成学习的另一种策略。 Adaboost的整体流程如上图所示。首先，训练一个弱学习器，其样本 阅读全文
posted @ 2021-12-27 17:32 HH丶丶 阅读(937) 评论(0) 推荐(0)
随机森林：原理及python实现
摘要：Table of Contents 1 随机森林概述1.1 个体学习器1.2 集成策略2 随机森林的一些相关问题2.1 偏差（Bias）与方差(Variance)2.2 RF通过降低方差提高预测准确性2.3 Bootstrap(自助采样)2.4 特征采样3 随机森林的实现3.1 python实现3. 阅读全文
posted @ 2021-12-06 17:10 HH丶丶 阅读(2946) 评论(0) 推荐(0)
决策树：原理以及python实现
摘要：Table of Contents 1 决策树概述1.1 决策树的决策方式1.2 决策树的规则学习过程2 特征选择2.1 信息熵2.1.1 二分类2.1.2 多分类2.2 信息增益2.3 信息增益比2.4 基尼系数3 ID33.1 算法流程3.2 Python实现3.3 小结4 C4.54.1 连续 阅读全文
posted @ 2021-11-08 22:13 HH丶丶 阅读(1823) 评论(0) 推荐(0)
Softmax：原理及python实现
摘要：Table of Contents 1 SoftMax回归概述1.1 标签编码1.2 算法思路2 SoftMax的损失函数及其优化2.1 损失函数2.2 损失函数的求导3 Softmax实现3.1 图片数据集3.2 sklearn实现3.3 python从零实现3.4 使用pytorch的实现 So 阅读全文
posted @ 2021-10-13 16:24 HH丶丶 阅读(2296) 评论(0) 推荐(0)
逻辑回归：原理及python实现
摘要：Table of Contents 1 逻辑回归概述1.1 Sigmoid函数1.2 二项逻辑回归1.3 对数几率理解2 逻辑回归的参数优化及正则化2.1 梯度下降法优化参数2.1.1 最大似然法确定损失函数（对数损失）2.1.2 损失函数的优化2.2 正则化3 逻辑回归的实现3.1 sklearn 阅读全文
posted @ 2021-09-28 16:51 HH丶丶 阅读(946) 评论(0) 推荐(0)
线性回归：原理及python实现
摘要：目录 1 线性回归概述2 求解方法2.1 普通最小二乘法（Ordinary Least Square，OLS）2.1.1 一元线性回归的最小二乘2.1.2 多元线性回归的最小二乘2.1.3 最小二乘法的局限2.2 梯度下降（Gradient Decent，GD）3 线性回归的实现3.1 sklear 阅读全文
posted @ 2021-09-26 11:22 HH丶丶 阅读(673) 评论(0) 推荐(0)
KNN：原理及python线性扫描实现
摘要：目录 1 K—NN算法2 K近邻模型2.1 距离度量2.2 k值的选择2.3 分类决策规则3 KNN的sklearn使用4 KNN的python实现4.1 使用KNN实现约会网站配对效果改进4.2 手写信息识别系统5 小结： #导入相关的包 import pandas as pd import nu 阅读全文
posted @ 2021-08-26 20:16 HH丶丶 阅读(407) 评论(0) 推荐(0)