随笔分类 - Python
摘要：机器学习中的过拟合和欠拟合 1、机器学习算法对于整体的数据训练和拟合，以典型的多元线性回归的方式为例，通过设定拟合的最高次数，然后对比输出的曲线结果可以看出，随着拟合函数次数的增大，其拟合线性回归模型的R2的值在不断地增大，均方差也在不断地减小，看起来拟合的结果越来越准确，其实质只是对于所存在原始数
阅读全文
摘要：sklearn中的多项式回归算法 1、多项式回归法多项式回归的思路和线性回归的思路以及优化算法是一致的，它是在线性回归的基础上在原来的数据集维度特征上增加一些另外的多项式特征，使得原始数据集的维度增加，然后基于升维后的数据集用线性回归的思路进行求解，从而得到相应的预测结果和各项的系数。 2、多项式回
阅读全文
摘要：PCA算法可以使得高维数据（mxn）降到低维，而在整个降维的过程中会丢失一定的信息，也会因此而实现降噪除噪的效果，另外，它通过降维可以计算出原本数据集的主成分分量Wk矩阵（kxn），如果将其作为数据样本，则可以将其作为原来数据集特征的主特征分量，如果用在人脸识别领域则可以作为人脸数据集的特征脸具体实现降噪效果和人脸特征脸的代码如下所示：#1-1利用手写字体数据集MNIST对PCA算法进行使用和效果
阅读全文
摘要：sklearn中调用PCA算法 PCA算法是一种数据降维的方法，它可以对于数据进行维度降低，实现提高数据计算和训练的效率，而不丢失数据的重要信息，其sklearn中调用PCA算法的具体操作和代码如下所示：
阅读全文
摘要：PCA主成分分析法的数据主成分分析过程及python原理实现 1、对于主成分分析法，在求得第一主成分之后，如果需要求取下一个主成分，则需要将原来数据把第一主成分去掉以后再求取新的数据X’的第一主成分，即为原来数据X的第二主成分，循环往复即可。 2、利用PCA算法的原理进行数据的降维，其计算过程的数学
阅读全文
摘要：PCA(Principal Component Analysis）主成分分析法的数学原理推导1、主成分分析法PCA的特点与作用如下：(1)是一种非监督学习的机器学习算法(2)主要用于数据的降维(3)通过降维，可以发现人类更加方便理解的特征(4)其他的应用：去燥；可视化等2、主成分分析法的数学原理主要
阅读全文
摘要：python表白实现代码（可视化与动画版）如何优雅而又高大上地对自己的心爱女神表白了? ? ? 试试python表白的实现方式吧，是动画版的哦，保证可以如你所愿 ! ！ ！最终的实现效果如下： 具体实现代码如下：#1-1导入turtle模块进行设计import turtleimport time#1-2画心形圆弧def hart_arc(): for i in range(200): turtle
阅读全文
摘要：对于随机梯度法的调试，主要是对于损失函数的梯度的计算准确度的判断，即函数中关于各个参数偏导数DJ的计算，主要有两种方式：数学公式计算：利用多元函数的偏导计算，确定出其DJ的向量；（2）导数定义逼近法：利用逼近的方式进行各个参数偏导数的计算 其不同两种方式代码实现如下所示：import numpy as npimport matplotlib.pyplot as plt#多元线性回归中使用梯度...
阅读全文
摘要：sklearn中实现随机梯度下降法 随机梯度下降法是一种根据模拟退火的原理对损失函数进行最小化的一种计算方式，在sklearn中主要用于多元线性回归算法中，是一种比较高效的最优化方法，其中的梯度下降系数（即学习率eta）随着遍历过程的进行在不断地减小。另外，在运用随机梯度下降法之前需要利用sklea
阅读全文
摘要：梯度下降法的python代码实现（多元线性回归最小化损失函数） 1、梯度下降法主要用来最小化损失函数，是一种比较常用的最优化方法，其具体包含了以下两种不同的方式：批量梯度下降法(沿着梯度变化最快的方向进行搜索最小值)和随机梯度下降法(主要随机梯度下降，通过迭代运算，收敛到最小值) 2、随机梯度与批量
阅读全文
摘要：//2019.08.06 机器学习算法中的梯度下降法(gradient descent)1、对于梯度下降法，具有以下几点特别说明：(1)不是一种机器学习算法，不可以解决分类或者回归问题；(2)是一种基于搜索的最优化方法；(3)作用是最小化损失函数；(4)梯度上升法：最大化效用函数。2、梯度下降法就是
阅读全文
摘要：1、对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。 2、多元回归算法的数学原理及其底层程序编写如下： 根据以上的数学原理可以从底层封装编写整体的多元线性回归算法如下
阅读全文
摘要：对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。整体实现代码如下所示:#1-1导入相应的基础数据集模块import numpy as npimport matplot
阅读全文
摘要：1、k近邻算法是学习机器学习算法最为经典和简单的算法，它是机器学习算法入门最好的算法之一，可以非常好并且快速地理解机器学习的算法的框架与应用。它是一种经典简单的分类算法，当然也可以用来解决回归问题。2、kNN机器学习算法具有以下的特点：(1)思想极度简单(2)应用的数学知识非常少(3)解决相关问题的
阅读全文
摘要：多元线性回归算法和正规方程解 ——燕江依/2019.08.05 1、对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。 2、对于KNN算法和多元线性回归算法对比可以知道
阅读全文
摘要：//2019.08.04#线性回归算法基础入门(Linear Regression)1、线性回归算法是一种非常典型的解决回归问题的监督学习算法，它具有以下几个特点：(1)典型的回归算法，可以解决实际中的回归问题；(2)思想简单，容易实现；(3)是许多强大的非线性算法模型的基础；(4)结果具有很好的可
阅读全文
摘要：Python如何输出矩阵的行数与列数？ 对于pyhton里面所导入或者定义的矩阵或者表格数据，想要获得矩阵的行数和列数有以下方法： 1、利用shape函数输出矩阵的行和列 x.shape函数可以输出一个元组（m,n），其中元组的第一个数m表示矩阵的行数，元组的第二个数n为矩阵的列数 具体代码如下：
阅读全文
摘要：最小二乘法的数学原理推导（机器学习线性回归） ——燕江依/2019.08.04 对于简单线性回归问题，即数据特征只有一个的基础数据集，要使得损失函数(这里是指真值与预测值之间误差的平方)最小，从而求得最优化的参数a和b，这个具体方法称为最小二乘法，利用最小二乘法，可以得到最佳的参数a和b的计算式，如
阅读全文
摘要：//2019.08.03晚#k-近邻算法的拓展思考与总结1、k-近邻算法是一种非常典型的分类监督学习算法，它可以解决多分类的问题；另外，它的整体思想简单，效果强大。它也可以用来解决回归问题，使用的库函数为KNeighborsRegressor 2、k-近邻算法虽然可以很好地解决多分类问题，但是它也有
阅读全文
摘要：//2019.08.03下午#机器学习算法的数据归一化(feature scaling)1、数据归一化的必要性：对于机器学习算法的基础训练数据，由于数据类型的不同，其单位及其量纲也是不一样的，而也正是因为如此，有时它会使得训练集中每个样本的不同列数据大小差异较大，即数量级相差比较大，这会导致在机器学
阅读全文