梯度下降法与牛顿法的比较
参考知乎:https://www.zhihu.com/question/19723347
这篇博文讲牛顿法讲的非常好:http://blog.csdn.net/itplus/article/details/21896453
梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向,只考虑目标函数
在迭代点的局部性质;牛顿法同时考虑了目标函数的一、二阶偏导数,考虑了梯度变化
趋势,因而能更合适的确定搜索方向加快收敛,但牛顿法也存在以下缺点:
1、对目标函数有严格要求,必须有连续的一、二阶偏导数,海森矩阵必须正定;
2、计算量大,除梯度外,还需计算二阶偏导矩阵及其逆矩阵。
拟牛顿法:http://blog.csdn.net/itplus/article/details/21896619