摘要:
##如何确定梯度计算的准确性以及调试梯度下降法 ###如何调试梯度 关于梯度的调试的方法的思想 对于一根曲线,我们求其在某一个点的相应的梯度值,我们就要求这个导数值,那么这个导数对应的就是这个点上的相切的直线的斜率,那么我们可以试着模拟这个直线的斜率,方式是在这个点的正方向的附近取一个点,在负方向上 阅读全文
摘要:
##随机梯度下降法 上文书我们说到批量梯度下降法 批量梯度下降法是有个问题的,如果样本量非常的大的话,计算梯度本身就是非常的耗时的,那么应该如何改进呢,基于能不能每次只对其中的一个值进行计算的思想,我们可以变幻出新的结构 对于i来说,我们每次都随机的只取一个固定的i,相应的,括号外也就不需要除以m了 阅读全文
摘要:
##线性回归中的梯度下降法(实现以及向量化并进行数据归一化) ###多元线性回归中的梯度下降法 我们试一下应用在多元线性回归中,对于线性回归的问题,前面的基本都是使每一次模型预测出的结果和数据所对应的真值的差的平方的和为损失函数,对于参数来说,有n+1个元素,这种情况下,我们就需要变换式子 这实际上 阅读全文
摘要:
##AttributeError: module 'numpy' has no attribute 'num' 写在前面 总的来说,先看看自己用的计算方式是不是写对了先,多个一起使用的话记得都看看 通过想上查找代码发现是方法名打错了 其实从错误提示中就能看出来的,这里显示到了dJ还没有问题,但是再更 阅读全文
摘要:
##模拟实现梯度下降法 (在notebook中) 既然我们要模拟实现梯度下降法,那么首先,我们就得确认一下我们的损失函数取什么 我们先设置一下这个曲线,将其设置成-1到6的范围,进行141的均分 plot_x = np.linspace(-1,6,141) plot_x 其中内容为 我们取这样一个曲 阅读全文