[最优化]线性规划概述

线性规划

在最优化问题中有一类问题被称作线性规划问题，属于有约束下的优化问题，线性规划是在线性约束条件下（等式或不等式）求解线性目标函数极值的问题。

线性规划问题的标准模型

线性规划的标准模型为

minimize cTx$c^{T}x$
subject to Ax=bx≥0$$\begin{gathered} Ax=b \\ x\ge 0 \end{gathered}$$

所有的线性规划问题都可以转化成以上的标准型，例如某线性规划问题具有以下形式，与标准型不同的是，该形式用了不等式约束

minimize cTx$c^{T}x$
subject to Ax≥bx≥0$$\begin{gathered} Ax\ge b \\ x\ge 0 \end{gathered}$$

可以通过引入剩余变量y$y$的方式，将以上问题转化为标准型

minimize cTx$c^{T}x$
subject to Ax−Imy=[A−Im][xy]=bx≥0,y≥0$$\begin{gathered} Ax-I_{m}y=\left[\begin{array}{cc}A& -I_m\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=b \\ x\ge 0,y\ge 0 \end{gathered}$$

如果约束条件具有以下形式：

Ax≤b$Ax\le b$
x≥0$x\ge 0$

可以通过引入剩余变量y$y$，将约束条件转换为

Ax+Imy=[AIm][xy]=bx≥0,y≥0$$\begin{gathered} Ax+I_{m}y=\left[\begin{array}{cc}A& I_m\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=b \\ x\ge 0,y\ge 0 \end{gathered}$$

线性规划问题的基本解

上文提到，任何线性规划问题都可以转换为标准型，即约束条件为线性等式，决策变量非负。

考虑方程Ax=b$Ax=b$，其中rank(A)=m$rank(A)=m$，为了求解这类问题，通常从矩阵A$A$的一部分列向量入手。为方便起见，可以将A$A$中的列向量重新进行排序，将感兴趣的列向量排在前列。具体来说，从A$A$中选取m个线性无关的向量组成方阵B$B$，对A$A$的列向量重新排序，可以使B$B$中的列向量位于A$A$的前m列，即A$A$可以写为分块矩阵A=[B,D]$A=[B,D]$，其中D$D$是m∗(n−m)$m\ast (n-m)$矩阵，它由A$A$中剩余的列向量组成。矩阵B$B$是非奇异的，因此求解方程BxB=b$B{x}_B=b$可以得到唯一解xB=B−1b$x_B=B^{-1}b$。令x$x$为n维向量，它的前m个元素等于xB$x_B$，其余元素为零，即x=[sTB,0T]T$x=[s_B^T,0^T{]}^T$,则x$x$是方程Ax=b$Ax=b$的一个解。

[xTB,0T]T$[x_B^T,0^T{]}^T$是Ax=b$Ax=b$在B$B$下的基本解，向量xB$x_B$中的元素称为基变量，B$B$中的列向量称为基本列向量。

退化的基本解—>基本解中的某些基变量为0
可行解—>满足Ax=0,x≥0$Ax=0,x\ge 0$的向量x$x$
基本可行解—>某个可行解也是基本解
退化的基本可行解—>某个基本可行解是退化的基本解

在求解线性规划问题时，仅需要考虑基本可行解，因为目标函数的最优解如果存在，那么一定是在某个基本可行解上得到。

线性规划基本定理
1.如果存在可行解，那么一定存在基本可行解
2.如果存在最优可行解，那么一定存在最优基本可行解

线性规划基本定理将线性规划问题的求解转换为在有限数量的基本可行解上进行搜索，这极大地缩减了求解的工作量。

从几何的角度来看，标准线性规划中的约束Ax=b,x≥0$Ax=b,x\ge 0$中的点集是凸集，即对于任何x,y∈Θ$x,y\in \mathrm{\Theta }$和实数α$\alpha$，0<α<1$0<\alpha <1$，有αx+(1−α)y∈Θ$\alpha x+(1-\alpha )y\in \mathrm{\Theta }$，对于凸集内的点x$x$，如果在Θ$\mathrm{\Theta }$中找不到两个不同的点x1$x_1$和x2$x_2$使x=αx1+(1−α)x2$x=\alpha x_1+(1-\alpha )x_2$成立则称x$x$是极点，可以通过证明得到，约束集的极点与基本可行解是等价的。

从某个极点转移到另一个相邻极点的算法就是单纯性法求解线性规划问题的思路，后面的文章将对单纯形法以及对偶等概念进行详细介绍。

To be continue…