[最优化]线性规划中的对偶问题

线性规划中的对偶问题

每个线性规划问题都有一个与之对应的对偶问题，对偶问题也是一个线性规划问题，并且对偶问题的对偶问题是原问题。原问题的最优解可以由对偶问题得到，有时候利用对偶理论求解线性规划问题更加简单，也更能了解问题的本质。在对偶理论的启发下，单纯形法的性能得到了改进，也出现了一些求解线性规划问题的非单纯形法，本文暂不详解。

对偶关系

考虑如下形式的对偶问题

minimizecTxsubject toAx≥bA≥0$$\begin{gathered} minimize{c}^{T}x \\ subjecttoAx\ge b \\ A\ge 0 \end{gathered}$$

将其称为原问题，其相应的对偶形式定义为

maximizeλTbsubject toλTA≤cTλ≥0$$\begin{gathered} maximize{\lambda }^{T}b \\ subjectto{\lambda }^{T}A\le c^T \\ \lambda \ge 0 \end{gathered}$$

其中λ$\lambda$称为对偶向量，这种对偶称为对称形式的对偶。
另外对于线性规划的标准形，其约束为Ax=b$Ax=b$，等价于

Ax≥b−Ax≥−b$$\begin{gathered} Ax\ge b \\ -Ax\ge -b \end{gathered}$$

因此含有等式约束的原问题可以写为

minimizecTxsubject to[A−A]x≥[b−b]x≥0$$\begin{gathered} minimize{c}^{T}x \\ subjectto\left[\begin{array}{c}A\\ -A\end{array}\right]x\ge \left[\begin{array}{c}b\\ -b\end{array}\right] \\ x\ge 0 \end{gathered}$$

这与对称形式的原问题具有相同的结构，因此上述问题的对偶问题为

maximize[uT vT][b−b]subject to[uT vT][A−A]≤cTu,v≥0$$\begin{gathered} maximize[u^T{v}^T]\left[\begin{array}{c}b\\ -b\end{array}\right] \\ subjectto[u^T{v}^T]\left[\begin{array}{c}A\\ -A\end{array}\right]\le c^T \\ u,v\ge 0 \end{gathered}$$

对偶问题可以整理为

maximize(u−v)Tbsubject to(u−v)TA≤cTu,v≥0$$\begin{gathered} maximize(u-v{)}^{T}b \\ subjectto(u-v{)}^{T}A\le c^T \\ u,v\ge 0 \end{gathered}$$

令λ=u−v$\lambda =u-v$，上述问题则变为

maximizeλTbsubject toλTA≤cT$$\begin{gathered} maximize{\lambda }^{T}b \\ subjectto{\lambda }^{T}A\le c^T \end{gathered}$$

注意此时由于u,v≥0,λ=u−v$u,v\ge 0,\lambda =u-v$，没有了非负约束，将这种关系称为非对称形式的对偶。

对偶问题的性质

在这里给出对偶问题的一些基本结论，暂不做证明
弱对偶引理：假设x$x$和λ$\lambda$分别是线性规划的原问题和对偶问题（对称形式及非对称形式）的可行解，则xTx≥λTb$x^{T}x\ge {\lambda }^{T}b$，即“极大值≤$\le$极小值”。

定理1：假设x0$x_0$和λ0${\lambda }_0$分别是原问题和对偶问题的可行解，如果cTx0=λT0b$c^T{x}_0={\lambda }_0^{T}b$，那么x0$x_0$和λ0${\lambda }_0$分别是各自问题的最优解。

定理2（对偶定理）：如果原问题有最优解，那么其对偶问题也有最优解，并且它们目标函数的最优解相同。

定理3（互补松弛条件）：x$x$和λ$\lambda$分别是原问题和对偶问题的可行解，则它们分别是各自问题的最优解的充分必要条件为

1.(cT−λTA)x=02.λT(Ax−b)=0$$\begin{gathered} 1.(c^T-{\lambda }^{T}A)x=0 \\ 2.{\lambda }^T(Ax-b)=0 \end{gathered}$$