线性规划

参考自：

• 《再探线性规划对偶在信息学竞赛中的应用》，丁晓漫，IOI2021中国国家集训队论文集
• 《浅谈线性规划与对偶问题》，董克凡，IOI2016中国国家集训队论文集

1 定义

• 定义 1.1（线性函数和线性约束）：对于一组变量 $x_1,\cdots,x_n$。

  称一个函数 $f(x_1,\cdots,x_n)$ 是线性函数，当且仅当存在 $a_1,\cdots,a_n$ 使得 $f(x_1,\cdots,x_n)=\sum\limits_{i=1}^n a_ix_i$。

  等式 $f(x_1,\cdots,x_n)=b$，不等式 $f(x_1,\cdots,x_n)\leq b,f(x_1,\cdots,x_n)\geq b$ 统称为线性约束。

• 定义 1.2（线性规划问题）：线性规划问题要求最大化或最小化一个受限于一组有限的线性约束的线性函数。

  称满足所有限制的解 $(x_1,\cdots,x_n)$ 为可行解，使目标函数达到最优的可行解称为最优解，所有可行解构成的区域为解空间。

• 定义 1.3（标准型线性规划）：标准型线性规划是满足如下形式的线性规划问题：

  $$\begin{aligned} \max&&\sum_{j=1}^nc_{j}x_j\\ \text{s.t.}&&\sum_{j=1}^na_{i,j}x_j&\leq b_i&&\forall i\in[1,m]\\ &&x_j&\geq 0&&\forall j\in[1,n] \end{aligned}$$

  也可以用矩阵表示成：

  $$\begin{aligned} \max&&\mathbf c^T\mathbf x&\\ \text{s.t.}&&\mathbf A\mathbf x&\leq \mathbf b\\ &&\mathbf x&\geq 0 \end{aligned}$$

  其中向量 $\mathbf x\leq \mathbf y$ 当且仅当对于向量的每一维 $x_i,y_i$ 都有 $x_i\leq y_i$。

经过简单的变换，任何线性规划问题都可以转化成标准型线性规划问题：可以通过系数取负修正最优化方向和不等号方向，对于等式可以拆成两个不等式，对于无非负性限制的变量 $x$ 拆成 $x=x_0-x_1$ 得到有非负性限制的 $x_0,x_1$。

• 定义 1.4（松弛型线性规划）：标准型线性规划是满足如下形式的线性规划问题：
  $$\begin{aligned} \max&&&\sum_{j=1}^nc_jx_j\\ \text{s.t.}&&x_{i+n}&=b_i-\sum_{j=1}^na_{i,j}x_j&&\forall i\in[1,m]\\ &&x_j&\geq 0&&\forall j\in[1,n+m] \end{aligned}$$

容易将标准型转化为松弛型。

2 单纯形法

//有将这节重写的打算

前言

考察一个线性规划的解空间，这个解空间是多个线性不等式解空间的交。可以证明每个线性不等式的解空间都是一个凸形区域（凸形区域的一个直观定义是，区域内任意两点连线上的点都属于这个区域），那么它们的交也是一个凸形区域。

因为解空间是凸形的，所以考虑在解空间内从一个初始解开始，进行爬山算法，这样所找到的局部最优解一定是全局最优解，因为 “山顶” 只有一个。

现在我们来描述单纯形法的具体过程。它针对于某个松弛型线性规划：

$$\begin{aligned} &\text{maximize}&&\sum_{j=1}^nc_jx_j\\ &s.t.&x_{i+n}&=b_i-\sum_{j=1}^na_{i,j}x_j&&i\in[1,m]\\ &&x_j&\geq 0&&j\in[1,n+m] \end{aligned}$$

称 $x_1,\cdots,x_n$ 为基变量，$x_{n+1},\cdots,x_{n+m}$ 为非基变量。可以看出，非基变量都是由基本量线性组合再加上一个常数得到。

对于 $j\in[1,n]$ 和 $i\in[1,m]$ 满足 $a_{i,j}\neq 0$，定义一次转轴 $\operatorname{pivot}(j,i)$ 为：把 $x_{i+n}=b_i-\sum\limits_{k=1}^na_{i,k}x_k$ 变为 $x_j=\frac{1}{a_{i,j}}(b_i-\sum\limits_{k\neq j}a_{i,k}x_k-x_{i+n})$。然后利用这条式子，把原来所有其他式子中的 $x_j$ 都替换。这样，我们相当于把 $x_{i+n}$ 变成了基变量，$x_j$ 变成非基变量。

$b_i$ 非负

先不妨假设 $b_i$ 均非负，那么令 $x_i=0,i\in[1,n]$ 即可得到一组初始解，此时答案 $\sum\limits_{j=1}^nc_jx_j=0$。

归纳地假设 $b_i$ 非负，那么当前 $x_i=0,i\in[1,n]$ 仍为一组合法的解。然后每次找到某个 $j$ 使得 $c_j>0$，接着：

• 若存在 $i\in[1,m]$ 使得 $a_{i,j}>0$，找到这些 $i$ 中使 $b_i/a_{i,j}$ 最小的那个。

  然后执行转轴操作 $\operatorname{pivot}(j,i)$。

  此时仍有 $b_i'\geq 0$，否则若存在某个 $i'$ 使得 $b'_{i'}<0$ 即 $b_{i'}-a_{i',j}\frac{b_i}{a_{i,j}}<0$，发现这需要 $a_{i',j}>0$ 且 $\frac{b_{i'}}{a_{i',j}}<\frac{b_i}{a_{i,j}}$，那么与我们的假设矛盾。

  此时需要最大化的值变成了 $\frac{c_jb_i}{a_{i,j}}+\sum\limits_{k\neq j}c_k'x_k+c_{i+n}'x_{i+n}$。

  由于 $b_i'$ 仍非负，所以 $x_i=0,i\in[1,n]$ 仍为一组合法的解，那么把当前答案加上 $\frac{c_jb_i}{a_{i,j}}$。

  然后再从找 $j$ 开始重复。

• 若对于任意 $i\in[1,m]$ 都有 $a_{i,j}\leq 0$。这意味着 $x_j$ 可以取无限大而使得解仍然合法，那么需要最大化的式子也可以取到无限大。

  所以该线性规划的答案无界。

若对于任意 $j$ 都有 $c_j\leq 0$，此时最优解应当就是所有 $x_i(i\in[1,n])$ 都取 $0$，那么我们之前累加得到的答案就是最优解。

以下是个人的阿巴阿巴，十分不严谨：

对于单纯形法的几何理解，我们以二维的为例。相当于我们要在基坐标 $x\geq 0,y\geq 0$ 以及一堆 $z_i=f_i(x,y)\geq 0$ 的限制下最大化 $c_xx+c_yy$。然后归纳假设的条件相当于当前坐标系的原点（当前解）在解空间内。如左上图：

不妨设 $c_x>0$，那么我们将当前解考虑沿 $x$ 轴正方向移动，答案不断变大，直到被某个 $z=f(x,y)\geq 0$ 限制住了。

然后我们考虑换坐标系，即将所有关于 $x,y$ 的式子用关于 $z,y$ 的式子表示。考虑这在几何上的表现：考虑 $z=z_0$ 这条直线，它应该平行于新的 $y$ 轴，而它原来平行于 $f(x,y)=0$，于是新的 $y$ 轴沿 $f(x,y)=0$ 的方向。同理考虑 $y=y_0$，它应该平行于新的 $z$ 轴，而它原来平行于 $x$ 轴，于是新的 $z$ 轴沿 $x$ 轴方向。而具体 $y$ 轴应该往上指还是往下指，应该看 $y=a(a>0)$ 这条线原来在上面还是下面。同理，新的 $z$ 轴应该往左指还是往右指，应该看 $z=a(a>0)$ 这条线原来在左边还是右边。

最后，如右下图，我们得到新的坐标系。

若任意维度的 $c$ 都小于等于 $0$，意味着我们找到了最优解。

存在 $b_i$ 为负

考虑辅助线性规划：

$$\begin{aligned} &\text{maximize}&&-x_0\\ &s.t.&x_{i+n}&=b_i-\sum_{j=1}^na_{i,j}x_j+x_0&&i\in[1,m]\\ &&x_j&\geq 0&&j\in[0,n+m] \end{aligned}$$

显然，若 $(x_1,\cdots,x_{n+m})$ 是原线性规划的一组可行解，那么辅助线性规划的最优解 $(x_0,\cdots,x_{n+m})$ 应当使 $x_0=0$。另一方面，若辅助线性规划的最优解 $(x_0,\cdots,x_{n+m})$ 满足 $x_0=0$，那么 $(x_1,\cdots,x_{n+m})$ 就是一组原线性规划的可行解。

从而我们只需求出辅助线性规划的最优解即可。

而对于辅助线性规划，找到 $i\in[1,m]$ 中 $b_i$ 最小的那个。然后执行转轴操作 $\operatorname{pivot}(0,i)$。此时对于任意 $k\neq i$ 有 $b_k'=b_k-b_i\geq 0$，从而转换成 $b_k'$ 均非负的线性规划问题。

有关时间复杂度

显然一次 $\operatorname{pivot}$ 的时间复杂度是 $O(nm)$ 的。对于整个算法的时间复杂度，引用论文中的一段话：

在最坏情况下，单纯形算法的时间复杂度为指数级。然而要将单纯形卡到指数级需要指数级大小的权值，而算法竞赛中涉及的问题一般都有一个具体的模型，并且权值也大多都是一定范围内的整数，在满足如此之多条件下就不可能把单纯形卡到指数级了。

卡线性规划比实现线性规划困难得多，不可能每道题的出题人都精通卡单纯形的技巧。而随机情况下，单纯形算法的期望调用 $\operatorname{pivot}$ 的次数为 $O(m)$ 次，也就是说单纯形算法的期望时间复杂度为 $O(nm^2)$。

代码实现

咕。

3 对偶

标准型对偶

• 定义 3.1（标准型对偶）：设标准型线性规划：
  $$\begin{aligned} \max&&\mathbf c^T\mathbf x&\\ \text{s.t.}&&\mathbf A\mathbf x&\leq \mathbf b\\ &&\mathbf x&\geq 0 \end{aligned}$$
  定义其对偶为线性规划：
  $$\begin{aligned} \min&&\mathbf b^T\mathbf y&\\ \text{s.t.}&&\mathbf A^T\mathbf y&\geq \mathbf c\\ &&\mathbf y&\geq 0 \end{aligned}$$

标准型线性规划与其对偶线性规划互为对偶。

• 引理 3.2（弱对偶定理）：延续 3.1 中的定义，有：

  $$\max \mathbf c^T\mathbf x\leq \min \mathbf b^T\mathbf y$$

  证明：标准型线性规划的对偶可以理解为：将原线性规划的线性约束进行线性组合（组合系数记为 $\mathbf y$），使得每个变量的系数大于等于 $\mathbf c$ 中的系数，那么 $\sum c_ix_i$ 就应当小于等于对应的 $b_i$ 的线性组合。

  $$\sum_i c_ix_i\leq \sum_i\left(\sum_j A_{j,i}y_j\right)x_i\leq \sum_jy_j\sum_iA_{j,i}x_i\leq \sum_j y_jb_j$$

• 引理 3.3（强对偶定理）：延续 3.1 中的定义，有：

  $$\max \mathbf c^T\mathbf x=\min\mathbf b^T\mathbf y$$

  证明：略。

• 引理 3.4（互松弛定理）：延续 3.1 中的定义，设 $\mathbf x,\mathbf y$ 分别是两个问题的解。那么它们是最优解当且仅当下面两个条件同时满足：

  • 对于任意 $i$，要么 $x_i=0$，要么 $c_i=\sum\limits_jA_{j,i} y_j$。

  • 对于任意 $j$，要么 $y_j=0$，要么 $b_j=\sum\limits_{i} A_{j,i}x_i$。

  证明：略。

最小费用流模型

先声明网络流增广路算法的直接推论：当流量上限全为整数时，网络流对应的线性规划问题一定存在整数最优解。

设 $f,c,w$ 分别表示边的流量、容量、单位费用，$b_u$ 表示 $u$ 点恰需要流出多少流量（当 $b_u$ 为正时，可以看成 $u$ 向 $T$ 连了一条容量为 $b_u$ 的边；当 $b_u$ 为负时，可以看成 $S$ 向 $u$ 连了一条容量为 $b_u$ 的边。然后要求满流）。注意这些变量中只有 $f$ 是变量。

把该问题用线性规划表示为：

$$\begin{aligned} \min&&\sum_{e\in E}f_ew_e\\ \text{s.t.}&&f_e&\leq c_e&&\forall e\in E\\ &&\sum_{(v,u)\in E}f_{v,u}-\sum_{(u,v)\in E}f_{u,v}&=b_u&&\forall u\in V\\ &&f_e&\geq 0&&\forall e\in E \end{aligned}$$

将其对偶后得到：

$$\begin{aligned} \max&&-\sum_{e\in E} p_e c_e-\sum_{u\in V}q_ub_u\\ \text{s.t.}&&-p_{u,v}+q_u-q_v&\leq w_{u,v}&&\forall (u,v)\in E\\ &&p_e&\geq 0&&\forall e\in E \end{aligned}$$

发现一定取 $p_{u,v}=\max(0,q_u-q_v-w_{u,v})$ 最优，于是化简为：

$$-\left\{\min\sum_{e\in E}c_e\max(0,q_u-q_v-w_{u,v})+\sum_{u\in V}b_uq_u\right\}$$

那么只要题目出现的是这个形式的式子，就可以考虑转为最小费用最大流求解。使用时有几点需要注意的：

• 对于 $\max(0,q_u-q_v-w_{u,v})$，除了题目直接出现外，目前遇到的有两种其他利用方法：

  • 将 $c_e$ 设为 $\infty$，使得 $\max(0,q_u-q_v-w_{u,v})$ 转为 $q_u-q_v-w_{u,v}\leq 0$ 即 $q_u\leq q_v+w_{u,v}$ 的三角形不等式。
  • 通过 $\max(0,q_u-q_v)+\max(0,q_v-q_u)$ 构造出 $|q_u-q_v|$。

• 如果题目要求 $q_u$ 都是整数，只需满足 $w_e$ 都是整数即可。

  证明：考虑将最优解调整。设所有 $q_u$ 的非零的本质不同小数部分的个数为 $k$。

  • 若 $k=0$ 则结论成立。

  • 否则任取一个小数部分 $x$。然后记 $S$ 为所有 $q_u$ 小数部分为 $x$ 的 $u$ 的集合。

    取极小量 $\varepsilon>0$。设 $\Delta_+$ 表示将所有 $u\in S$ 的 $q_u$ 都 $+\varepsilon$ 后解的变化量，$\Delta_-$ 表示将所有 $u\in S$ 的 $q_u$ 都 $-\varepsilon$ 后解的变化量。

    对于 $\sum_{u\in V}b_uq_u$，易知这部分的 $\Delta_++\Delta_-=0$；

    对于 $\sum_{e\in E}c_e\max(0,q_u-q_v-w_{u,v})$，只有在 $q_u,q_v$ 一者属于 $S$ 一者不属于 $S$ 时才会有变化，而 $w_{u,v}$ 是整数，所以 $q_u-q_v-w_{u,v}$ 的正负性在 $\pm \varepsilon$ 后不会改变，那么就易证此部分仍有 $\Delta_++\Delta_-=0$。

    于是 $\Delta_++\Delta_-=0$，这样我们就能选出至少一个方向使得 $\Delta\geq 0$。而且发现，只要不出现小数部分等价类的合并，我们一直朝这个方向变化，过程中仍然是保持 $\Delta\geq 0$ 的。于是我们就这么做递归到 $k-1$ 的问题。

• 如果题目要求 $q_u\geq 0$，那么对偶到原来的费用流问题时是要求

  $$\sum_{(v,u)\in E}f_{v,u}-\sum_{(u,v)\in E}f_{u,v}\leq b_u$$

  $b_u$ 为正时是一条连到 $T$ 的容量为 $[0,b_u]$ 的边和一条 $S$ 连来的容量为 $[0,\infty]$ 的边；$b_u$ 为负时是一条 $S$ 连来的容量为 $[-b_u,\infty]$ 的边。

  跑有源汇上下界最小费用可行流即可。

4 例题

【ZJOI2013】防守战线

题意：

战线可以看成一个长度为 $n$ 的序列，现在要在每个位置建若干座塔，在第 $i$ 个位置建一座塔的费用为 $c_i$，每个位置可以建很多座塔。有 $m$ 个要求，每个形如位置 $[l_i,r_i]$ 内至少要共建了 $D_i$ 座塔。求最小花费。

$n\leq 1000$，$m\leq 10^4$。

题解：

设第 $i$ 个位置建了 $x_i$ 座塔，那么用线性规划表示为：

$$\begin{aligned} \min&&\sum_i x_ic_i\\ \text{s.t.}&&\sum_{i=l_j}^{r_j}x_i&\geq D_j&&\forall j\\ &&x_i&\geq 0&&\forall i \end{aligned}$$

对偶后得到：

$$\begin{aligned} \max&&\sum_j y_j D_j\\ \text{s.t.}&&\sum_j y_j[l_j\leq i\leq r_j]&\leq c_i&&\forall i\\ &&y_j\geq 0&&\forall j \end{aligned}$$

直接 $i$ 向 $i+1$ 连容量为 $c_i$ 的边，$r_j+1$ 向 $l_j$ 连费用为 $D_j$ 的边，跑最大费用最大流即可。

【CodeChef-CHEFBOOK】Chefbook

题意：

给定一张 $n$ 个点 $m$ 条边的有向图，每条边 $e$ 有初始边权 $L_e$，和目标范围 $[S_e,T_e]$。你需要给每个点 $u$ 设定两个非负数权值 $P_u,Q_u$，然后每条边 $(u,v)$ 的边权会变成 $L_{u,v}^*:=L_{u,v}+P_u-Q_v$。你需要保证每条边的新边权在该边的目标范围内，且需要最大化所有边的新边权和。要求输出方案。

$n\leq 100$，$m\leq 10000$。

题解：

用线性规划表示为：（其中 $A_u,B_u$ 分别是 $u$ 的出度和入度）

$$\begin{aligned} \max&&\sum_u P_uA_u-Q_uB_u\\ \text{s.t.}&&S_{u,v}\leq L_{u,v}+P_u-Q_v&\leq T_{u,v}&&\forall (u,v)\in E\\ &&P_u,Q_u&\geq 0&&\forall u\in V \end{aligned}$$

即：

$$-\min\left\{\sum_uQ_uB_u-P_uA_u+\sum_{(u,v)\in E}\infty\max(0,P_u-Q_v+L_{u,v}-T_{u,v})+\infty\max(0,Q_v-P_u+S_{u,v}-L_{u,v})\right\}\\ \begin{aligned} P_u,Q_u\geq 0&&\forall u\in V \end{aligned}$$

转为最小费用流即可，这张图是个类似二分图的形式：

$$\begin{aligned} \min&&\sum_{(u,v)\in E}f_{u,v}(T_{u,v}-L_{u,v})+g_{v,u}(L_{u,v}-S_{u,v})\\ \text{s.t.}&&\sum_{(u,v)\in E}f_{u,v}-g_{v,u}&\leq B_v&&\forall v\in V\\ &&\sum_{(u,v)\in E}g_{v,u}-f_{u,v}&\leq -A_u&&\forall u\in V\\ &&f_{u,v},g_{v,u}&\geq 0&&\forall(u,v)\in E \end{aligned}$$

考虑我们求出了该费用流的一组解 $f_{u,v},g_{v,u}$，如何构造原问题的一组解。利用互松弛定理，可得：

$$f_{u,v}=0\lor P_u-Q_v=T_{u,v}-L_{u,v}\\ g_{v,u}=0\lor Q_v-P_u=L_{u,v}-S_{u,v}\\ $$

那么当 $f_{u,v}>0$ 或 $g_{v,u}>0$ 时，我们就有了一组关于 $P_u,Q_v$ 的约束。然后再和原来的约束 $S_{u,v}\leq L_{u,v}+P_u-Q_v\leq T_{u,v}$ 放在一起跑差分约束，最终跑出来的解就是一组最优解。（为什么？）