随笔分类 - 机器学习
摘要：1. 概述 1.1 集成学习 目前存在各种各样的机器学习算法，例如SVM、决策树、感知机等等。但是实际应用中，或者说在打比赛时，成绩较好的队伍几乎都用了集成学习(ensemble learning)的方法。集成学习的思想，简单来讲，就是“三个臭皮匠顶个诸葛亮”。集成学习通过结合多个学习器(例如同种算
阅读全文
摘要：概述 Boosting基本思想: 通过改变训练数据的概率分布（训练数据的权值分布），学习多个弱分类器，并将它们线性组合，构成强分类器。 Boosting算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”（re-weighting）实施。对无法接受带权样本的基学习算法，则可通过“重采样法
阅读全文
摘要：class sklearn.preprocessing.Imputer(missing_values=’NaN’, strategy=’mean’, axis=0, verbose=0, copy=True) 参数： missing_values: integer or “NaN”, optiona
阅读全文
摘要：特征重要度 作为单个的决策树模型，在模型建立时实际上是寻找到某个特征合适的分割点。这个信息可以作为衡量所有特征重要性的一个指标。 基本思路如下：如果一个特征被选为分割点的次数越多，那么这个特征的重要性就越强。这个理念可以被推广到集成算法中，只要将每棵树的特征重要性进行简单的平均即可。 分别根据特征1
阅读全文
摘要：https://blog.csdn.net/yangyin007/article/details/82385967 1 什么是随机森林？ 作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的
阅读全文
摘要：https://scikit-learn.org/stable/modules/classes.html
阅读全文
摘要：一、集成学习法 在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某
阅读全文
摘要：1.安装Graphviz 在graphviz的官网(网址：http://www.graphviz.org/Download_windows.php)，选择Windows对应的mis文件进行下载。如graphviz-2.3.8.msi: 下载之后，进行安装。找到安装路径，如：C:\Program Fi
阅读全文
摘要：前面的博客里有提到决策树，我们也了解了决策树的构建过程，如果可以可视化决策树，把决策树打印出来，对我们理解决策树的构建会有很大的帮助。这篇文章中，我们就来看下如何可视化输出一棵决策树。 一、安装相应的插件 我们需要安装Graphviz和pygraphviz，教程，这个教程里有详细的安装过程，这里就不
阅读全文
摘要：重要内容简述： 从ID3到C4.5再到CART 在分类树问题中（注意ID3和C4.5只能解决分类问题，CART是既可以解决分类问题，也可以解决回归问题）：最主要的是要进行分类的最优特征和最优切分点的选择，为了这两个量，算法不断的计算每一层的最优特征和对应下的最优切分点 随机森林 属于集成学习的范畴，
阅读全文
摘要：剪枝（pruning）的目的是为了避免决策树模型的过拟合。因为决策树算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多，也就导致了过拟合。决策树的剪枝策略最基本的有两种：预剪枝（pre-pruning）和后剪枝（post-pruning）： 预剪枝（
阅读全文
摘要：输出是连续变量的是回归树，输出是离散变量的是分类树。 CART决策树是一个二叉树。 回归树： 输入空间划分为M个单元 ，单元 对应输出 ， 是其对应的输入空间。 输出 取 上所有输出的均值： 下面，看输入空间的划分方法。 假设最优切分变量 ，最优切分点 ，输入空间被划分为两部分： 它们的输出是各自输
阅读全文
摘要：from sklearn.feature_selection import SelectKBest http://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html#sklearn.
阅读全文
摘要：Categorical特征常被称为离散特征、分类特征，数据类型通常是object类型，而我们的机器学习模型通常只能处理数值数据，所以需要对Categorical数据转换成Numeric特征。 Categorical特征又有两类，我们需要理解它们的具体含义并进行对应的转换。 Ordinal 类型：这种
阅读全文
摘要：1. pd.get_dummies() #简单&粗暴 pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=N
阅读全文
摘要：https://blog.csdn.net/choven_meng/article/details/82878018 一、决策树模型与学习 1、决策树模型 2、决策树学习 二、特征选择 1、信息增益 2、信息增益率 三、决策树的生成 1、ID3算法 2、C4.5算法 3、CART算法 四、决策树停止
阅读全文
摘要：一、基尼指数的概念 基尼指数（Gini不纯度）表示在样本集合中一个随机选中的样本被分错的概率。注意：Gini指数越小表示集合中被选中的样本被参错的概率越小，也就是说集合的纯度越高，反之，集合越不纯。当集合中所有样本为一个类时，基尼指数为0. 二、基尼系数的计算公式 基尼指数的计算公式为： 三、计算示
阅读全文
摘要：基尼指数（Gini不纯度）表示在样本集合中一个随机选中的样本被分错的概率。 注意：Gini指数越小表示集合中被选中的样本被参错的概率越小，也就是说集合的纯度越高，反之，集合越不纯。当集合中所有样本为一个类时，基尼指数为0. 基尼指数的计算方法为：其中，pk表示样本属于第k个类别的概率 举例：根据天气
阅读全文
摘要：https://blog.csdn.net/am290333566/article/details/81187124 机器学习中，绕不开的一个概念就是熵 (Entropy)，信息熵。信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。在决策树的
阅读全文