梯度下降法与牛顿法的比较

参考知乎:https://www.zhihu.com/question/19723347

这篇博文讲牛顿法讲的非常好:http://blog.csdn.net/itplus/article/details/21896453

                              梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向,只考虑目标函数

                       在迭代点的局部性质;牛顿法同时考虑了目标函数的一、二阶偏导数,考虑了梯度变化

                      趋势,因而能更合适的确定搜索方向加快收敛,但牛顿法也存在以下缺点:

                             1、对目标函数有严格要求,必须有连续的一、二阶偏导数,海森矩阵必须正定;

                             2、计算量大,除梯度外,还需计算二阶偏导矩阵及其逆矩阵。

拟牛顿法:http://blog.csdn.net/itplus/article/details/21896619

                       

posted @ 2016-10-11 21:49  牧马人夏峥  阅读(2230)  评论(0编辑  收藏  举报