吴恩达机器学习笔记——梯度下降算法（3）

引言

上节介绍了特征缩放，可以使梯度下降算法效率更高，但是还没有解决收敛问题，这节介绍的自动收敛测试就是解决收敛问题。

为什么要收敛测试？

因为在梯度下降算法中，θ值是一步一步逼近最佳的，而且J(θ)和θ的图像是u型，所以步幅就很重要，如果步幅过大可能会引起θ值在最佳之间往返或者越来越远的问题，所以要进行收敛测试，保证梯度下降算法是可用的。

如何测试？

通过图像的方式测试：

正常情况的图像应该为下图，随着迭代次数的增加，J（θ）的最小值不断减小。

若出现如下两图中的情况，则为α值过大：

或者

综上所述：

if α is too small:slow convergence;

if α is too large:J(θ) may not decrease;