11 2016 档案
摘要：上篇文章介绍了梯度下降法在线性回归中的相关理论与证明，这里使用程序实例代码方式看梯度下降法是怎样一步一步下降求出最优解的； X = [1 4;2 5;5 1;4 2]; y = [19;26;19;20]; m = length(y); alpha = 0.002; %步长 num_iters =
阅读全文
摘要：前面的文章讲了使用 最小二乘法 来求线性回归损失函数的 最优解 ，最小二乘法为直接对梯度求导找出极值，为非迭代法；而本篇文章了使用一个新的方法来求损失函数的极值： 梯度下降法（Gradient Descendent, GD） ，梯度下降法为最优化算法通常用于求解函数的极值，梯度下降法为迭代法，给定一
阅读全文
