摘要：
Table of Contents 1 GBDT概述2 GBDT回归(提升树)2.1 算法流程2.2 python实现3 GBDT分类3.1 算法流程3.2 python实现3.3 多分类 GBDT概述 GBDT(Gradient Boosting Decision Tree)梯度提升树是一种以决策 阅读全文
摘要：
Table of Contents 1 Adaboost概述2 分类2.1 算法流程2.2 Adaboost的前向分步算法解释2.3 python实现3 回归 Adaboost概述 Boosting提升方法是集成学习的另一种策略。 Adaboost的整体流程如上图所示。首先，训练一个弱学习器，其样本 阅读全文
摘要：
Table of Contents 1 随机森林概述1.1 个体学习器1.2 集成策略2 随机森林的一些相关问题2.1 偏差（Bias）与方差(Variance)2.2 RF通过降低方差提高预测准确性2.3 Bootstrap(自助采样)2.4 特征采样3 随机森林的实现3.1 python实现3. 阅读全文
摘要：
Table of Contents 1 决策树概述1.1 决策树的决策方式1.2 决策树的规则学习过程2 特征选择2.1 信息熵2.1.1 二分类2.1.2 多分类2.2 信息增益2.3 信息增益比2.4 基尼系数3 ID33.1 算法流程3.2 Python实现3.3 小结4 C4.54.1 连续 阅读全文
摘要：
Table of Contents 1 SoftMax回归概述1.1 标签编码1.2 算法思路2 SoftMax的损失函数及其优化2.1 损失函数2.2 损失函数的求导3 Softmax实现3.1 图片数据集3.2 sklearn实现3.3 python从零实现3.4 使用pytorch的实现 So 阅读全文
摘要：
Table of Contents 1 逻辑回归概述1.1 Sigmoid函数1.2 二项逻辑回归1.3 对数几率理解2 逻辑回归的参数优化及正则化2.1 梯度下降法优化参数2.1.1 最大似然法确定损失函数（对数损失）2.1.2 损失函数的优化2.2 正则化3 逻辑回归的实现3.1 sklearn 阅读全文
摘要：
目录 1 线性回归概述2 求解方法2.1 普通最小二乘法（Ordinary Least Square，OLS）2.1.1 一元线性回归的最小二乘2.1.2 多元线性回归的最小二乘2.1.3 最小二乘法的局限2.2 梯度下降（Gradient Decent，GD）3 线性回归的实现3.1 sklear 阅读全文
摘要：
目录 1 K—NN算法2 K近邻模型2.1 距离度量2.2 k值的选择2.3 分类决策规则3 KNN的sklearn使用4 KNN的python实现4.1 使用KNN实现约会网站配对效果改进4.2 手写信息识别系统5 小结： #导入相关的包 import pandas as pd import nu 阅读全文
摘要：
目录 1 点估计的概念与无偏性2 矩估计及相合性3 最大似然估计与EM算法3.1 最大似然估计（MLE，maximum likelihood estimation）3.2 EM算法（Expectation-maximization algorithm）4 最小方差无偏估计4.1 均方误差（MSE，m 阅读全文
摘要：
目录 1 总体与样本2 统计量及其分布3 三大抽样分布3.1 伽马分布3.1.1 伽马函数3.1.2 伽马分布3.2 卡方分布3.3 F分布3.4 t分布 总体与样本 总体：研究对象的全体，总体即分布。 个体：构成总体的每一个成员。 样本：从总体中抽出n个个体组成样本。 样本容量：样本中的个体数n。 阅读全文