最优化计算中：梯度下降法和牛顿法，共轭梯度法的基础分析

整理这篇博文是为了防止遗忘 的时候快速找到学习资源

梯度最速下降法的初始函数展开式取到泰勒级数的一阶导数展开式，最终每一次的搜索方向为梯度下方向，每一次的搜索步长都用精确的“linear  search”方法来确定

https://www.codelast.com/%E5%8E%9F%E5%88%9B-%E5%86%8D%E8%B0%88-%E6%9C%80%E9%80%9F%E4%B8%8B%E9%99%8D%E6%B3%95%E6%A2%AF%E5%BA%A6%E6%B3%95steepest-descent/

　　

，而牛顿法取到了泰勒级数的二阶展开式，并在求d这一搜索向量时用到了解方程组的方法。

另外，在用牛顿迭代法求解每一次的搜索方向和步长时。可以参考高斯约旦消元法来计算。（高斯-若当消元法的步骤参考）

https://baike.baidu.com/item/%E9%AB%98%E6%96%AF-%E8%8B%A5%E5%B0%94%E5%BD%93%E6%B6%88%E5%85%83%E6%B3%95/19969775?fr=aladdin

共轭梯度法梯度法是有一定关系的，它利用了目标函数的梯度信息（梯度与方向的内积但为0以满足下降方向）；

它与梯度法又存在区别，用当前点的负梯度方向，与前面，注意是前面的搜索方向共轭化，以得到新的搜索方向。