约束优化方法

一般形式的约束优化问题是：

 

有以下相关概念：

1. 可行域——满足约束条件的x的集合

2.x点的有效约束——在x点等号成立的约束

3.可行方向

在x*处的可行方向的集合记为FD(x*,X)

4.线性化可行方向

在x*处的线性化可行方向的集合记为LFD(x*,X)

5.序列可行方向

在x*处的线序列可行方向的集合记为SFD(x*,X)

 

几个约束规范条件：

1.约束规范条件（CQ）：LFD(x*,X)=SFD(x*,X)

2.线性函数约束规范条件（LFCQ）：所有的约束函数都是线性函数

3.线性无关约束规范条件（LICQ）：约束函数的梯度线性无关

 可以证明：线性函数约束规范条件或线性无关约束规范条件成立，则约束规范条件成立

 

约束优化的一阶最优条件称为kkt条件：

kkt条件从上到下依次称为：驻点条件、可行性条件、可行性条件、乘子非负条件、互补松弛条件

相应的，有kkt定理：如果约束规范条件满足，则存在λ_i^*(i=1,2,...,m)，使得kkt条件成立

 

与kkt条件有密切联系的一个函数是Lagrange函数：

关于约束优化问题，还有几个一阶和二阶最有条件：

首先定义LFD的子集F₂：

 

一阶最优性充分条件：

二阶最优性必要条件：

二阶最优性充分条件：

 

 

-----------------------------------------------------------------我是分割线-----------------------------------------------------------------

 

求解约束优化问题有以下几个常用方法：

1. 二次罚函数法

罚函数法是一类对不可行点进行迭代的方法，对不可行约束采用惩罚函数

对于等式约束问题，二次罚函数定义为：

对于一般问题，二次罚函数定义为：

其中μ>0是罚参数

 

二次罚函数的步骤如下：

 

 

2.内点障碍罚函数法

与罚函数法不同，内点障碍罚函数法是一类保持严格可行性的方法，因此这种方法适用于只有不等式约束的问题

常用的障碍函数是对数障碍函数和分数障碍函数法

对数障碍函数法的步骤如下：