《最优化导论》-8梯度方法

1.梯度迭代

a>0时，负梯度方向，是函数值下降方向

1.1梯度下降法

当接近极小值时，梯度接近0，通用形式如下，有一些具体实现：

1）最速下降法

梯度下降的一种具体实现，理念是在每次迭代时，选择最佳合适的步长ak,使得目标函数值最大程度的减少。

流程：初始迭代点出发，沿负梯度方向开展前面说的一维搜索，找到最优步长a，从而确定新的迭代出发点，不断这样，直至收敛（实际小于某些阀值即可）。

可以发现，最速下降法的相邻搜索方向，是正交的，证明：8.1。

2）二次型中的使用

则：

二次型中最佳步长解析式：

瑞丽不等式：