摘要: ##如何确定梯度计算的准确性以及调试梯度下降法 ###如何调试梯度 关于梯度的调试的方法的思想 对于一根曲线,我们求其在某一个点的相应的梯度值,我们就要求这个导数值,那么这个导数对应的就是这个点上的相切的直线的斜率,那么我们可以试着模拟这个直线的斜率,方式是在这个点的正方向的附近取一个点,在负方向上 阅读全文
posted @ 2021-01-17 16:23 DbWong_0918 阅读(899) 评论(0) 推荐(0) 编辑
摘要: ##随机梯度下降法 上文书我们说到批量梯度下降法 批量梯度下降法是有个问题的,如果样本量非常的大的话,计算梯度本身就是非常的耗时的,那么应该如何改进呢,基于能不能每次只对其中的一个值进行计算的思想,我们可以变幻出新的结构 对于i来说,我们每次都随机的只取一个固定的i,相应的,括号外也就不需要除以m了 阅读全文
posted @ 2021-01-17 16:18 DbWong_0918 阅读(713) 评论(0) 推荐(0) 编辑
摘要: ##线性回归中的梯度下降法(实现以及向量化并进行数据归一化) ###多元线性回归中的梯度下降法 我们试一下应用在多元线性回归中,对于线性回归的问题,前面的基本都是使每一次模型预测出的结果和数据所对应的真值的差的平方的和为损失函数,对于参数来说,有n+1个元素,这种情况下,我们就需要变换式子 这实际上 阅读全文
posted @ 2021-01-17 16:07 DbWong_0918 阅读(1352) 评论(0) 推荐(1) 编辑
摘要: ##AttributeError: module 'numpy' has no attribute 'num' 写在前面 总的来说,先看看自己用的计算方式是不是写对了先,多个一起使用的话记得都看看 通过想上查找代码发现是方法名打错了 其实从错误提示中就能看出来的,这里显示到了dJ还没有问题,但是再更 阅读全文
posted @ 2021-01-17 15:50 DbWong_0918 阅读(2986) 评论(0) 推荐(0) 编辑
摘要: ##模拟实现梯度下降法 (在notebook中) 既然我们要模拟实现梯度下降法,那么首先,我们就得确认一下我们的损失函数取什么 我们先设置一下这个曲线,将其设置成-1到6的范围,进行141的均分 plot_x = np.linspace(-1,6,141) plot_x 其中内容为 我们取这样一个曲 阅读全文
posted @ 2021-01-17 01:27 DbWong_0918 阅读(158) 评论(0) 推荐(1) 编辑
摘要: ##梯度下降法 梯度下降法和先前学习的算法有着明显的不同 他本身不是一个机器学习的算法,它既不是监督学习也不是非监督学习,其是一种基于搜索的最优化的方法,作用是最小化一个损失函数,相应的,我们想要最大化一个效用函数的话,就要用梯度上升法,最小化方面是很常用梯度下降法的 从二维平面上看,可以发现其本质 阅读全文
posted @ 2021-01-16 09:41 DbWong_0918 阅读(307) 评论(0) 推荐(0) 编辑
摘要: ##线性回归的可解释性和更多的思考和线性回归的总结 我们知道线性回归是具有可解释性的,用操作来解释什么是可解释性 在notebook中 使用波士顿数据,划分好范围 import numpy as np import matplotlib.pyplot as plt from sklearn impo 阅读全文
posted @ 2021-01-15 17:32 DbWong_0918 阅读(440) 评论(0) 推荐(0) 编辑
摘要: ##使用sklearn解决回归问题 依然是加载数据 import numpy as np import matplotlib.pyplot as plt from sklearn import datasets boston = datasets.load_boston() X = boston.d 阅读全文
posted @ 2021-01-15 17:29 DbWong_0918 阅读(365) 评论(0) 推荐(0) 编辑
摘要: ##多元线性回归和正规方程解 在真实世界中,真实的样本是有很多的特征值的,这种也是可以使用线性回归解决的,通常我们称这种为多元线性回归问题 我们设一个样本的特征为xi,则 那么对应的y就是 这种直线仍然有截距,即 如果我们可以学习到这多个样本的话,那么我们就可以求出我们的多元线性回归对应的预测值 与 阅读全文
posted @ 2021-01-15 17:23 DbWong_0918 阅读(966) 评论(0) 推荐(0) 编辑
摘要: ##衡量线性回归法的指标 MSE,RMS,MAE以及评价回归算法 R Square ###衡量线性回归法的指标 对于分类问题来说,我们将原始数据分成了训练数据集和测试数据集两部分,我们使用训练数据集得到模型以后使用测试数据集进行测试然后和测试数据集自带的真实的标签进行对比,那么这样一来,我们就得到了 阅读全文
posted @ 2021-01-15 17:16 DbWong_0918 阅读(1891) 评论(0) 推荐(0) 编辑