08 2019 档案
摘要：1、集成学习是指对于同一个基础数据集使用不同的机器学习算法进行训练，最后结合不同的算法给出的意见进行决策，这个方法兼顾了许多算法的"意见"，比较全面，因此在机器学习领域也使用地非常广泛。生活中其实也普遍存在集成学习的方法，比如买东西找不同的人进行推荐，病情诊断进行多专家会诊等，考虑各方面的意见进行最
阅读全文
摘要：//2019.08.19#机器学习集成学习1、集成学习是指对于同一个基础数据集使用不同的机器学习算法进行训练，最后结合不同的算法给出的意见进行决策，这个方法兼顾了许多算法的"意见"，比较全面，因此在机器学习领域也使用地非常广泛。 集成学习(ensemble learning)本身不是一个单独的机器学
阅读全文
摘要：1、决策树算法是一种非参数的决策算法，它根据数据的不同特征进行多层次的分类和判断，最终决策出所需要预测的结果。它既可以解决分类算法，也可以解决回归问题，具有很好的解释能力。另外，对于决策树的构建方法具有多种出发点，它具有多种构建方式，如何构建决策树的出发点主要在于决策树每一个决策点上需要在哪些维度上
阅读全文
摘要：//2019.08.17#决策树算法1、决策树算法是一种非参数的决策算法，它根据数据的不同特征进行多层次的分类和判断，最终决策出所需要预测的结果。它既可以解决分类算法，也可以解决回归问题，具有很好的解释能力。 图 原理图2、对于决策树的构建方法具有多种出发点，它具有多种构建方式，如何构建决策树的出发
阅读全文
摘要：1、支撑向量机SVM是一种非常重要和广泛的机器学习算法，它的算法出发点是尽可能找到最优的决策边界，使得模型的泛化能力尽可能地好，因此SVM对未来数据的预测也是更加准确的。 2、SVM既可以解决分类问题，又可以解决回归问题，原理整体相似，不过也稍有不同。 在sklearn章调用SVM算法的代码实现如下
阅读全文
摘要：//2019.08.17 #支撑向量机SVM(Support Vector Machine)1、支撑向量机SVM是一种非常重要和广泛的机器学习算法，它的算法出发点是尽可能找到最优的决策边界，使得模型的泛化能力尽可能地好，因此SVM对未来数据的预测也是更加准确的。 2、支撑向量机SVM有两种：Hard
阅读全文
摘要：sklearn分类算法的评价指标调用#二分类问题的算法评价指标import numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn import datasetsd=datasets.load_digits(
阅读全文
摘要：//2019.08.14#机器学习算法评价分类结果1、机器学习算法的评价指标一般有很多种，对于回归问题一般有MAE,MSE，AMSE等指标，而对于分类算法的评价指标则更多：准确度score，混淆矩阵、精准率、召回率以及ROC曲线、PR曲线等。2、对于分类算法只用准确率的评价指标是不够的，并且对于一些
阅读全文
摘要：sklearn中实现多分类任务（OVR和OVO） 1、OVR和OVO是针对一些二分类算法（比如典型的逻辑回归算法）来实现多分类任务的两种最为常用的方式，sklearn中专门有其调用的函数，其调用过程如下所示： #多分类任务的封装OVR(n个)和OVO（Cmn个）#sklearn中采用的逻辑回归是可以
阅读全文
摘要：sklearn实现多分类逻辑回归 #二分类逻辑回归算法改造适用于多分类问题1、对于逻辑回归算法主要是用回归的算法解决分类的问题，它只能解决二分类的问题，不过经过一定的改造便可以进行多分类问题，主要的改造方式有两大类：(1)OVR/A(One VS Rest/ALL)(2)OVO(One VS One
阅读全文
摘要：1、逻辑回归算法即可以看做是回归算法，也可以看作是分类算法，通常用来解决分类问题，主要是二分类问题，对于多分类问题并不适合，也可以通过一定的技巧变形来间接解决。 2、决策边界是指不同分类结果之间的边界线(或者边界实体)，它具体的表现形式一定程度上说明了算法训练模型的过拟合程度，我们可以通过决策边界来
阅读全文
摘要：逻辑回归的数学原理推导及原理代码实现 1、逻辑回归算法是目前应用最为广泛的一种算法，虽然是回归算法，但是它解决的是分类问题，而不是回归问题，它的原理是将样本的特征与样本发生的概率，而概率是一个数字，因此将其称为回归算法。 2、对于逻辑回归因为得到的预测结果是事件的发生概率，因此它的预测值值域为0-1
阅读全文
摘要：//2019.08.13#逻辑回归算法(Logistic Regression)1、根据2017-2018年人工智能与大数据科学领域的统计，不同的机器学习算法应用占比排名如下，其中，逻辑回归、决策树、随机森林以及人工神经网络算法占比前四，应用最为广泛，其次是贝叶斯算法、集成学习以及支持向量机SVM算
阅读全文
摘要：机器学习的模型泛化 1、机器学习的模型误差主要含有三个方面的误差：模型偏差、模型方差以及不可避免的误差。 2、对于机器学习训练模型的偏差主要因为对于问题本身的假设不对，比如非线性误差假设为线性误差进行训练和预测，算法层面上欠拟合是产生较大偏差的主要原因。另外主要来自于特征参量与最终结果的相关性，如果
阅读全文
摘要：机器学习中的过拟合和欠拟合 1、机器学习算法对于整体的数据训练和拟合，以典型的多元线性回归的方式为例，通过设定拟合的最高次数，然后对比输出的曲线结果可以看出，随着拟合函数次数的增大，其拟合线性回归模型的R2的值在不断地增大，均方差也在不断地减小，看起来拟合的结果越来越准确，其实质只是对于所存在原始数
阅读全文
摘要：sklearn中的多项式回归算法 1、多项式回归法多项式回归的思路和线性回归的思路以及优化算法是一致的，它是在线性回归的基础上在原来的数据集维度特征上增加一些另外的多项式特征，使得原始数据集的维度增加，然后基于升维后的数据集用线性回归的思路进行求解，从而得到相应的预测结果和各项的系数。 2、多项式回
阅读全文
摘要：PCA算法可以使得高维数据（mxn）降到低维，而在整个降维的过程中会丢失一定的信息，也会因此而实现降噪除噪的效果，另外，它通过降维可以计算出原本数据集的主成分分量Wk矩阵（kxn），如果将其作为数据样本，则可以将其作为原来数据集特征的主特征分量，如果用在人脸识别领域则可以作为人脸数据集的特征脸具体实现降噪效果和人脸特征脸的代码如下所示：#1-1利用手写字体数据集MNIST对PCA算法进行使用和效果
阅读全文
摘要：sklearn中调用PCA算法 PCA算法是一种数据降维的方法，它可以对于数据进行维度降低，实现提高数据计算和训练的效率，而不丢失数据的重要信息，其sklearn中调用PCA算法的具体操作和代码如下所示：
阅读全文
摘要：PCA主成分分析法的数据主成分分析过程及python原理实现 1、对于主成分分析法，在求得第一主成分之后，如果需要求取下一个主成分，则需要将原来数据把第一主成分去掉以后再求取新的数据X’的第一主成分，即为原来数据X的第二主成分，循环往复即可。 2、利用PCA算法的原理进行数据的降维，其计算过程的数学
阅读全文
摘要：PCA(Principal Component Analysis）主成分分析法的数学原理推导1、主成分分析法PCA的特点与作用如下：(1)是一种非监督学习的机器学习算法(2)主要用于数据的降维(3)通过降维，可以发现人类更加方便理解的特征(4)其他的应用：去燥；可视化等2、主成分分析法的数学原理主要
阅读全文
摘要：python表白实现代码（可视化与动画版）如何优雅而又高大上地对自己的心爱女神表白了? ? ? 试试python表白的实现方式吧，是动画版的哦，保证可以如你所愿 ! ！ ！最终的实现效果如下： 具体实现代码如下：#1-1导入turtle模块进行设计import turtleimport time#1-2画心形圆弧def hart_arc(): for i in range(200): turtle
阅读全文
摘要：对于随机梯度法的调试，主要是对于损失函数的梯度的计算准确度的判断，即函数中关于各个参数偏导数DJ的计算，主要有两种方式：数学公式计算：利用多元函数的偏导计算，确定出其DJ的向量；（2）导数定义逼近法：利用逼近的方式进行各个参数偏导数的计算 其不同两种方式代码实现如下所示：import numpy as npimport matplotlib.pyplot as plt#多元线性回归中使用梯度...
阅读全文
摘要：sklearn中实现随机梯度下降法 随机梯度下降法是一种根据模拟退火的原理对损失函数进行最小化的一种计算方式，在sklearn中主要用于多元线性回归算法中，是一种比较高效的最优化方法，其中的梯度下降系数（即学习率eta）随着遍历过程的进行在不断地减小。另外，在运用随机梯度下降法之前需要利用sklea
阅读全文
摘要：梯度下降法的python代码实现（多元线性回归最小化损失函数） 1、梯度下降法主要用来最小化损失函数，是一种比较常用的最优化方法，其具体包含了以下两种不同的方式：批量梯度下降法(沿着梯度变化最快的方向进行搜索最小值)和随机梯度下降法(主要随机梯度下降，通过迭代运算，收敛到最小值) 2、随机梯度与批量
阅读全文
摘要：//2019.08.06 机器学习算法中的梯度下降法(gradient descent)1、对于梯度下降法，具有以下几点特别说明：(1)不是一种机器学习算法，不可以解决分类或者回归问题；(2)是一种基于搜索的最优化方法；(3)作用是最小化损失函数；(4)梯度上升法：最大化效用函数。2、梯度下降法就是
阅读全文
摘要：1、对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。 2、多元回归算法的数学原理及其底层程序编写如下： 根据以上的数学原理可以从底层封装编写整体的多元线性回归算法如下
阅读全文
摘要：对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。整体实现代码如下所示:#1-1导入相应的基础数据集模块import numpy as npimport matplot
阅读全文
摘要：1、k近邻算法是学习机器学习算法最为经典和简单的算法，它是机器学习算法入门最好的算法之一，可以非常好并且快速地理解机器学习的算法的框架与应用。它是一种经典简单的分类算法，当然也可以用来解决回归问题。2、kNN机器学习算法具有以下的特点：(1)思想极度简单(2)应用的数学知识非常少(3)解决相关问题的
阅读全文
摘要：多元线性回归算法和正规方程解 ——燕江依/2019.08.05 1、对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。 2、对于KNN算法和多元线性回归算法对比可以知道
阅读全文
摘要：//2019.08.04#线性回归算法基础入门(Linear Regression)1、线性回归算法是一种非常典型的解决回归问题的监督学习算法，它具有以下几个特点：(1)典型的回归算法，可以解决实际中的回归问题；(2)思想简单，容易实现；(3)是许多强大的非线性算法模型的基础；(4)结果具有很好的可
阅读全文
摘要：Python如何输出矩阵的行数与列数？ 对于pyhton里面所导入或者定义的矩阵或者表格数据，想要获得矩阵的行数和列数有以下方法： 1、利用shape函数输出矩阵的行和列 x.shape函数可以输出一个元组（m,n），其中元组的第一个数m表示矩阵的行数，元组的第二个数n为矩阵的列数 具体代码如下：
阅读全文
摘要：最小二乘法的数学原理推导（机器学习线性回归） ——燕江依/2019.08.04 对于简单线性回归问题，即数据特征只有一个的基础数据集，要使得损失函数(这里是指真值与预测值之间误差的平方)最小，从而求得最优化的参数a和b，这个具体方法称为最小二乘法，利用最小二乘法，可以得到最佳的参数a和b的计算式，如
阅读全文
摘要：//2019.08.03晚#k-近邻算法的拓展思考与总结1、k-近邻算法是一种非常典型的分类监督学习算法，它可以解决多分类的问题；另外，它的整体思想简单，效果强大。它也可以用来解决回归问题，使用的库函数为KNeighborsRegressor 2、k-近邻算法虽然可以很好地解决多分类问题，但是它也有
阅读全文
摘要：//2019.08.03下午#机器学习算法的数据归一化(feature scaling)1、数据归一化的必要性：对于机器学习算法的基础训练数据，由于数据类型的不同，其单位及其量纲也是不一样的，而也正是因为如此，有时它会使得训练集中每个样本的不同列数据大小差异较大，即数量级相差比较大，这会导致在机器学
阅读全文
摘要：1、机器学习算法的整体使用步骤如下： (1)从scikitlearn库中调用相应的机器学习算法模块；(2)输入相应的算法参数定义一个新的算法；(3)输入基础训练数据集利用scaler对其进行数据归一化处理 (4)对于归一化的数据集进行机器学习算法的训练fit过程；(5)输入测试数据集对其结果进行预测
阅读全文
摘要：机器学习算法参数的网格搜索实现： //2019.08.031、scikitlearn库中调用网格搜索的方法为：Grid search，它的搜索方式比较统一简单，其对于算法批判的标准比较复杂，是一种复合交叉批判方式，不仅仅是准确率。其具体的实现方式如下(以KNN算法的三大常用超参数为例)：#使用sci
阅读全文
摘要：//2019.08.02下午#机器学习算法中的超参数与模型参数1、超参数：是指机器学习算法运行之前需要指定的参数，是指对于不同机器学习算法属性的决定参数。通常来说，人们所说的调参就是指调节超参数。2、模型参数：是指算法在使用过程中需要学习得到的参数，即输入与输出之间映射函数中的参数，它需要通过对于训
阅读全文
摘要：1、k近邻算法可以说是唯一一个没有训练过程的机器学习算法，它含有训练基础数据集，但是是一种没有模型的算法，为了将其和其他算法进行统一，我们把它的训练数据集当做它的模型本身。2、在scikitlearn中调用KNN算法的操作步骤如下（利用实际例子举例如下）：#1导入相应的数据可视化模块import n
阅读全文
摘要：sklearn之train_test_split()函数各参数含义（非常全） 在机器学习中，我们通常将原始数据按照比例分割为“测试集”和“训练集”，从 sklearn.model_selection 中调用train_test_split 函数 简单用法如下： X_train,X_test, y_t
阅读全文
摘要：//2019.08.01下午机器学习算法1——k近邻算法1、k近邻算法是学习机器学习算法最为经典和简单的算法，它是机器学习算法入门最好的算法之一，可以非常好并且快速地理解机器学习的算法的框架与应用。2、kNN机器学习算法具有以下的特点：(1)思想极度简单(2)应用的数学知识非常少(3)解决相关问题的
阅读全文
摘要：//2019.08.01机器学习基础入门1-21、半监督学习的数据特征在于其数据集一部分带有一定的"标记"和或者"答案"，而另一部分数据没有特定的标记，而更常见的半监督学习数据集产生的原因是各种原因引起的数据缺失。2、半监督学习的数据集处理方式大多采用：先用无监督学习算法对数据进行相关的处理，再利用
阅读全文
