最优化-二次规划

二次规划的

标准形式

$$
\mathop {min} \limits_{x}f\left( x \right) =\mathop {min} \limits_{x}\frac{1}{2}x^THx+c^Tx
\\
s.t.\begin{cases}
    Ax=b\\
    x\ge 0\\
\end{cases}
$$

无约束形式：

可以直接求得解析解为$x=-H^{-1}c$。

不等式约束形式(x>0)：

$$
\mathop {min} \limits_{x}f\left( x \right) =\mathop {min} \limits_{x}\frac{1}{2}x^THx+c^Tx
\\
s.t.\begin{cases}
    Ax\le b\\
    x\ge 0\\
\end{cases}
$$
转化为标准形式的方法：

加入松弛变量：$Ax+Is=b,\,\,x,s \ge 0$
$$
\left[ \begin{matrix}
    A&        I\\
\end{matrix} \right] \left[ \begin{array}{c}
    x\\
    s\\
\end{array} \right] =b,\,\,\left[ \begin{array}{c}
    x\\
    s\\
\end{array} \right] \ge 0

$$

不等式约束形式($x \in R^n$)

 $$\mathop {min} \limits_{x}f\left( x \right) =\mathop {min} \limits_{x}\frac{1}{2}x^THx+c^Tx
\\
s.t.\begin{cases}
    Ax\le b\\
    x\in \mathbb{R}^n\\
\end{cases}$$

转化为标准形式的方法：

定义$Define\,\,x=x^+-x^-\,\,with\,\,x^+,x^-\ge 0$，可得$Ax^+ - x^- +ls = b$其中$x^+, x^-, s \geq 0$，

转化为$$
\left[ \begin{matrix}
    A&        -A&        I\\
\end{matrix} \right] \left[ \begin{array}{c}
    x^+\\
    x^-\\
    s\\
\end{array} \right] =b,\,\,\left[ \begin{array}{c}
    x^+\\
    x^-\\
    s\\
\end{array} \right] \ge 0
$$
将二次规划看作有约束最优化问题

形式为：

$$f\left( x \right) =\frac{1}{2}x^THx+c^Tx
\\
s.t.\,\,\begin{cases}
    Ax-b=0\\
    -x\le 0\\
\end{cases}$$

其Kuhn-Tucker条件为：

$$\begin{cases}
    Ax=b\text{（原始可行性）}\\
    x\ge 0\text{（原始可行性）}\\
    Hx+A^T\lambda -\mu =-c\text{（平稳性）}\\
    \mu ^Tx=0\text{（互补松弛性）}\\
    \mu \ge 0\text{（对偶可行性）}\\
\end{cases}$$