线性规划学习笔记

定义#

线性规划是一类最优化问题，例如：

$$\begin{aligned} \min{\ x_1+2x_2}& \\ s.t.\ x_1+x_2\le 3&\\ x_2\le 2&\\ x_1\ge 0&\\ x_2\ge 0 \end{aligned}$$

（s.t. 是 subject to 的缩写）
简单来说，对于一系列变量，我们在一系列线性约束的范围内找到一个线性函数的最值。
下文称 $x\in\mathbb{R}^n\ge 0$ 为 $x$ 的各个分量 $\ge 0$。

标准形式#

注意到对于所有线性规划问题，我们都能把它变换到如下标准形式：

$$\min_{x\in \mathbb{R}^n}{c^Tx}\\ s.t.\ Ax=b,\forall i,x_i\ge 0\\ that\ A\in\mathbb{R}^{m\times n},b\in\mathbb{R}^m,c\in\mathbb{R}^n$$

• 对于变量 $x\ge c$，用 $x'=x-c\ge 0$ 替代。
• 对于变量 $x\le c$，用 $x'=c-x\ge 0$ 替代。
• 对于变量 $x$ 无约束，考虑两个非负变量 $x_1,x_2\ge 0$，令 $x=x_1-x_2$。

至此所有变量 $x$ 都满足非负性，接下来处理不等式：
对于不等式 $\sum a_ix_i\le c$，考虑新建一个松弛变量 $s\ge 0$，则有 $\sum a_ix_i+s=c$。反方向不等式同理。

注意到线性规划中我们一般不会碰到严格不等关系：如果我们将这些关系换成不严格的，那么要么存在满足严格条件的最优解，要么我们可以无穷接近最优解。

单纯形法#

以后再说，暂时用不到XD

对偶问题#

考虑一个标准形式的线性规划问题

$$p^*=\min_{x\in \mathbb{R}^n}{c^Tx}\\ s.t.\ Ax=b,x\ge 0\\ $$

引入拉格朗日乘子 $\lambda\in\mathbb{R}^n$，相当于要求：

$$f(x,\lambda)=c^Tx+\lambda^T(Ax-b)\\ h^*=\min_{x}\max_{\lambda}\ f(x,\lambda)\\ s.t.\ x\ge 0$$

证明：

如果 $Ax\ne b$，那么在内层的 $\max$ 中我们可以取 $\lambda\rightarrow\pm\infin$ 使得内层 $\max_{\lambda}f(x,\lambda)$ 趋向于正无穷，不会计入答案。
这同时也告诉我们如果 $D^*\rightarrow +\infin$ 则原问题无解。

考虑对偶问题：以 $x$ 为主元，我们可以证明，对任意 $\lambda$，$\min_{x}f(x,\lambda)$ 是 $h^*$ 的一个下界。

证明：

对于一个特定的 $\lambda_1$ 和任意的 $x_1$，我们有

$$\begin{align*} &\min_{x}f(x,\lambda_1)\le f(x_1,\lambda_1)\le \max_{\lambda}f(x_1,\lambda) \\\Rightarrow&\forall \lambda_1,\min_{x}f(x,\lambda_1)\le \min_{x}\max_{\lambda}f(x,\lambda)=h^* \end{align*}$$

取最紧的下界

$$\begin{align*} p^*&=\max_{\lambda}\min_{x}\ f(x,\lambda)\\ &=\max_{\lambda}\min_{x}\ c^Tx+\lambda^T(Ax-b)\\ &=\max_{\lambda}\min_{x}\ (c^T+\lambda^T A)x-\lambda^T b & (x\ge 0) \end{align*}$$

注意到若 $(c^T+\lambda^TA)_i< 0$，则令 $x_i\rightarrow +\infin,x_j=0(i\ne j)$，有 $f(x,\lambda)\rightarrow -\infin$，故必然有 $c^T+\lambda^TA\ge 0$，此时必然有 $x=\mathbf{0}$，故

$$d^*=\max_{\lambda}-\lambda^Tb\\ s.t.\ c^T+\lambda^TA\ge 0$$

记 $w=-\lambda$，有

$$d^*=\max_{w}w^Tb\\ s.t.\ A^T\lambda\le c$$

同样是一个线性规划问题，称为 $P^*$ 的对偶问题。
总结一下：

$$\begin{gathered} p^*=\min_{x}{c^Tx}\\ s.t.\ Ax=b,x\ge 0\\ \end{gathered} \ \ \stackrel{dual}{\Longleftrightarrow}\ \ \begin{gathered} d^*=\max_{w}b^Tw\\ s.t.\ A^Tw\le c \end{gathered}$$

又或者考虑一个更加对称的形式：

$$\begin{gathered} p^*=\min_{x}{c^Tx}\\ s.t.\ Ax\ge b,x\ge 0\\ \end{gathered} \ \ \stackrel{dual}{\Longleftrightarrow}\ \ \begin{gathered} d^*=\max_{w}b^Tw\\ s.t.\ A^Tw\le c,w\ge 0 \end{gathered}$$

强对偶定理#

由上文的论述我们知道必然有 $d^*\le p^*$ 称为弱对偶定理。事实上，线性规划满足强对偶定理：
对于互为对偶的线性规划问题 $d^*,p^*$，必然满足以下三种情况中的一个：

• $d^*,p^*$ 都不存在可行解。
• $d^*,p^*$ 一个不存在可行解，一个最优解无界。
• $d^*,p^*$ 皆有有界最优解，此时必然有两者的解相同。

证明：

情况一和二易见，对于情况三，记 $x_0$ 是 $p^*$ 的最优解，由前面叙述的单纯形算法中的结论，我们有 $x_0=\begin{bmatrix}x_B\\ 0\end{bmatrix},c=\begin{bmatrix}c_B\\0\end{bmatrix},A=\begin{bmatrix}B & 0\end{bmatrix}$，其中 $x_B,c_B\in\mathbb{R}^m,B\in\mathbb{R}^{m\times m}$，则有 $x_B=B^{-1}b,p^*=c^T_BB^{-1}b$，取 $w_0^T=c^T_BB^{-1}$，由前面单纯形算法的结论我们有 $r=c^T-c^T_BB^{-1}A\ge 0$，故 $w_0$ 是 $b^*$ 的一个可行解，且 $b^Tw=c^Tx$，结合弱对偶定理 $d^*\le p^*$，即得 $d^*=p^*$。

互补松弛定理#

考虑如下线性规划问题

$$\begin{gathered} p^*=\min_{x}{c^Tx}\\ s.t.\ Ax=b,x\ge 0\\ \end{gathered}$$

其对偶形式为

$$d^*=\max_{w}b^Tw\\ s.t.\ A^Tw\le c$$

若 $x,w$ 是原问题和对偶问题的可行解，则有 $x,w$ 是原问题和对偶问题的最优解等价于 $c^Tx=b^Tw$，记 $r=c^T-w^TA$，则有 $rx=c^Tx-w^Tb$，于是有互补松弛定理：

$x,w$ 是原问题和对偶问题的可行解，$x,w$ 是最优解 $\Longleftrightarrow\forall i,x_i=0\ or\ (Ax)_i=b_i$。

一个应用见 CF1307G。