最优化局部极小点的条件（二）

 回忆一下关于元实值函数的的求导问题，函数的一阶导数为

                                                


函数的梯度正好是导数的转置，即；函数的二阶导数，也称为hessian矩阵，可表示为：
 

                                               

 

对于向量,和约束集中的某个点，如果存在一个实数使得对于所有，仍然在约束集内，即，则称为处的可行方向！


为元实值函数在处的可行方向，则函数沿方向的方向导数可表示为

                                               

                          
这也是一个实值函数，如果，那么方向导数表示的是函数的值在处沿方向的增长率。为了计算方向导数，假定和已知，这样就变成了关于的函数，有

                                             

      

应用链式法则，可得

                   

由此可见，当是一个单位向量()时，函数f的值在处沿方向的增长率可以用内积表示。

一阶必要条件：多元实值函数在约束集上一阶连续可微，即，约束集是的子集。如果是函数在上的局部极小点，则对于处的任意可行方向，都有

                                                  

成立。

推论：局部极小点位于约束集内部时的一阶必要条件：多元实值函数在约束集上一阶连续可微，即，约束集是的子集，如果是函数在上的局部极小点，且是的内点，则有
 

                                                 

成立。

局部极小点的二阶必要条件：多元实值函数在约束集上二阶连续可微，即，约束集是的子集，如果是函数在上的局部极小点，是处的一个可行方向，且，则有
 

                                                

其中，H为函数f的hessian矩阵。

推论：局部极小点位于约束集内部时的二阶必要条件：多元实值函数在约束集上二阶连续可微，即，约束集是的子集，如果是函数在上的局部极小点，且是的内点，则有

                                               
                       
hessian矩阵半正定，也就是说，对于所有的向量，都有

                                               

局部极小点的二阶充分条件（局部极小点为内点）：多元实值函数在约束集上二阶连续可微，即，是约束集的一个内点，如果同时满足

1   

2   

则是函数的一个严格局部极小点

-------------------------------------------------------------------------------

转载请注明出处 博客园 刺猬的温驯 

本文链接 http://www.cnblogs.com/chenying99/p/5081426.html