共轭方向法

共轭方向法是介于最速下降法和牛顿法之间的一个方法。最速下降法只使用一阶导数信息且方法简单， 单收敛慢。 牛顿法收敛快且为二阶收敛， 但计算量大。共轭方向法仅用一阶导数信息， 因此计算量比牛顿法小， 同时收敛速度比最速下降法快。 它的基本思想是在求$n$维正定二次目标函数极小点时产生一组共轭方向作为搜索方向。 在精确线搜索条件下算法至多$n$步能求出极小点。经适当修正后算法可推广到求一般非二次目标函数情形。 下面先介绍共轭方向的概念。

 

定义 1 设$G$为$n$阶对称正定矩阵， $d_1, d_2, ..., d_m(m<=n)$为一组$n$维非零向量。 如果

$d^T_iGd_j=0,  i\neq j$, 则称$d_1, d_2, ..., d_m$是$G$共轭的。