（五）L-BFGS算法

BFGS算法中需要一个N*N的矩阵，当N很大时存储这个矩阵变得很耗费计算机资源，L-BFGS算法是对BFGS算法的改造，减少期迭代过程中产生的内存开销

 

总结：牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆），它们使用迭代法分别近似海森矩阵的逆和它自身；L-BFGS是为了减小内存开支，用向量代替矩阵（其中用到近似）