KKT条件

约束问题形式

$P问题$

$\begin{cases} min\ f(x) g_i(x)\le 0,i=1,...,m\\ h_i(x)=0,i=1,...,l\\ \end{cases},x\in R^n$

约束问题局部解的一阶必要条件-KKT条件

$若约束问题满足如下条件$
$1.f(x),g_i(x),h_i(x)具有连续的一阶偏导数$
$2.x^*是约束问题的局部最优解$
$3.在x^*处\color{red}{约束限制条件}成立,\color{red}{这里注意，下面方程中的元素都要带*，表示只有最优解才满足KKT条件}$
$则可以推出\Rightarrow$
$\begin{cases} \nabla L(x^*,\lambda^*)=\nabla f(x^*)+\sum_{i=1}^{m}\lambda^* g_i(x)+\sum_{i=1}^{l}\mu^* h_i(x) =0 ,(这里注意,若x=(x_1,x_2,...)^T,则\frac{\partial L}{\partial x_i} =0,对每个变量x_i都偏导=0,参看案例2)\\ h_i(x^*)=0 ,i=1,...,l\\ g_i(x^*)\le0,i=1,...,m\\ \lambda_i^* \ge 0 ,i=1,,,m\\ \color{red}{\lambda_i^*g_i(x^*)=0,i=1,...m} \\ \end{cases}$
$最后一条很重要,意思是要么约束起作用 g_i(x^*)=0,要么约束不起作用 \lambda_i^* =0,称为\color{red}{互补松弛条件}$

$定理的证明比较复杂,可以参看b站崔雪婷老师的授课,还有相关的几何解释,比较直观$

约束限制条件

KKT条件中其他都好办,唯有约束限制条件未说明,注意约束限制条件不止一种,下面举几个例子

1.约束函数都是线性函数

$所有的g_i(x),h_i(x)都是线性函数$
$其实这里可以删除那些不起作用的g_i(x),按照崔雪婷书上的表达式是 g_i(x),i\in I(x^*),h_i(x)都是线性函数,I(x^*)是\color{red}{有效约束指标集},通俗讲就是起作用的那些个g_i(x)$

2.Linear Independence CQ - LICQ

$\nabla g_i(x^*),\nabla h_i(x) 线性无关,同样这里的 g_i(x^*) 可以为 i\in I(x^*),(LICQ)$

3.Slater CQ (SLCQ) -Slater条件(这个比较常用,因为在对偶理论中也用得到)

$对于如下约束问题$
$\begin{cases} min\ f(x)\\ s.t.\ g_i(x)\le 0,i=1,...,m\\ Ax=b\\ \end{cases}$
$那么Slater条件定义为:存在一点x\in relint\ D(相对内部的意思),使得下式成立$
$f_i(x)<0,i=1,...,m且Ax=b,并且我们称这一点为\color{red}{严格可行的}$

其他相关CQ可以参考
https://zhuanlan.zhihu.com/p/85441448?from_voters_page=true

案例

$f(x)=(x-3)^2,0\le x \le 5,求min\ f(x)$
$1.规范化$
$\begin{cases} -x \le 0\\ x -5 \le 0\\ \end{cases}$
$2.看约束,引入2个广义乘子\lambda_1^*,\lambda_2^*$
$必须要求 \lambda_1^*,\lambda_2^* \ge 0$
$3.构建拉格朗日函数$
$L(x,\lambda_1^*,\lambda_2^*)=f(x)+\lambda_1^*g_1+\lambda_2^*g_2$
$=(x-3)^2+\lambda_1^*(-x)+\lambda_2^*(x-5)$
$4.联立方程组$
$\begin{cases} \frac{\partial L}{\partial x} = 2(x-3)-\lambda_1^* +\lambda_2^* =0\\ \lambda_1^*(-x)=0\\ \lambda_2^*(x-5)=0\\ \end{cases}$
$5.解方程组,\color{red}{注意，一般仔细讨论解的情况}$
$1)\lambda_1^* \ne 0,x = 0,\lambda_2^* =0,2(0-3)-\lambda_1^* =0 ,\lambda_1^*=-6,此时\lambda_1^* < 0,不成立$
$2)\lambda_1^* =0 ,2(x-3)+\lambda_2^*=0 ,\lambda_2^*(x-5)=0,求这个方程组,\Rightarrow x=3,5$
$2.1)继续分情况讨论,\lambda_1^*=0,x=3时,\lambda_2^*=0,这个解成立$
$2.2)\lambda_1^*=0,x=5,\lambda_2^*=-4,不成立$
$\lambda_1^*=0,x=3,\lambda_2^*=0$
$以上是\lambda_1^*角度的讨论$
$\lambda_2^*(x-5)=0,\lambda_2^* =0 或者 x-5=0,x=5(上面讨论过了，舍弃)$
$\lambda_2^* =0 不会出现新的解$
$最终答案$
$\lambda_1^*=0,x=3,\lambda_2^*=0$

$案例2$
$f(x,y)=x^2+2y,在x^2+y^2=\le 1,求f(x,y)_{min}$
$1.规范化,g_1=x^2+y^2-1 \le 0$
$2.构建L(x,y,\lambda_1^*)=x^2+2y+\lambda_1^*(x^2+y^2-1),\lambda_1 \ge 0$
$3.\begin{cases} \frac{\partial F}{\partial x} = 2x+2\lambda_1^*x=0\\ \frac{\partial F}{\partial y} = 2+2\lambda_1^*y=0\\ \lambda_1^*(x^2+y^2-1)=0\\ \end{cases}$