摘要：
转载链接：http://blog.csdn.net/itplus/article/details/21897715 前面的拟牛顿法、DFP、BFGS、L-BFGS算法简短总结一下就是： 牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆 阅读全文
摘要：
转载链接：http://blog.csdn.net/itplus/article/details/21897443 这里，式（2.38）暂时不知如何证出来，有哪位知道麻烦给个思路。 阅读全文
摘要：
转载链接：http://blog.csdn.net/itplus/article/details/21896981 注意：式（2.25）中，蓝色变量之所以是实数可以根据它们的矩阵系数相乘为1*1得到。 阅读全文
摘要：
转载链接：http://blog.csdn.net/itplus/article/details/21896619 阅读全文
摘要：
在介绍“牛顿法”之前，我先说一下“不动点迭代法”，它是牛顿法的基础； 一、不动点迭代法： PPT链接：https://wenku.baidu.com/view/dc4a73d683d049649b6658ab.html 二、牛顿法 同时，由于牛顿法需要计算hassen矩阵，计算量更大； 阅读全文