机器学习-梯度下降算法

梯度下降算法是使代价函数最小的一种算法。梯度下降法也可以应用于更一般的函数。

梯度下降法就是先给参数一个初始值，然后通过不断改变参数的值来找到函数的最小值。给参数选取的初始值不同，所得到的局部最优解也不同。

 埃尔法是梯度下降的步长。需要同时更新两个参数。蓝色方框里的是导数项。

 

 两个参数同时更新。

当接近局部最优解时，梯度下降法会逐渐减小下降的幅度。