摘要：
一、CART简介 分类与回归树（calssification and regression tree，CART）是决策树算法中的一种，与其他决策树算法相同，同样由特征选择，树的生成与剪枝组成。CART被广泛应用，且被用于树的集成模型，例如，GBDT、RF等集成算法的基学习器都是CART树。决策树是典 阅读全文
摘要：
一、随机森林算法简介 随机森林属于集成学习（Ensemble Learning）中的bagging算法。Bagging (bootstrap aggregating) Bagging即套袋法，其算法过程如下： A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个 阅读全文
摘要：
相同点 二者都是监督学习的分类算法，如果不考虑核函数的话，二者都是线性分类算法，也就是说他们的分类决策面都是线性的，目的都是产生一个决策平面，将两类样本点分开。 不同点 本质上的不同是损失函数的不同，LR的是log loss SVM的损失函数是hinge loss 本质上的不同是损失函数的不同，LR 阅读全文
摘要：
一、LR概述 逻辑回归模型是一种分类模型，也是线性模型的一种。实质上是线性回归 + sigmod函数组成。 sigmod函数图像： 从图像中可以看出，sigmod函数将线性回归的输出映射到0~1之间。逻辑回归模型的意义旨在寻求一个判定边界θTX =0，将样本分为两类，θTX >0即为正例，θTX<0 阅读全文
摘要：
一、机器学习算法的常见流程 一般的机器学习分类算法，我们可以通常从三个步骤得到，以SVM算法为例，这里规定正例的y为1，负例的y为-1 Step 1: Function Set(Model) Step 2: Loss function 理想情况下的loss function(ideal loss)是 阅读全文
摘要：
一、过拟合与正则化 过拟合指的就是在机器学习模型训练过程中把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样会导致在测试的时候不能够很好地识别数据，即不能正确的分类，模型测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力较差,也就是高方差(variance)，低偏差（bias）。 阅读全文