如何写出原问题的对偶问题
\(优化问题原问题P,P不一定是凸问题\)
\(\begin{cases} min\ f(x)\\ s.t.\ g_i(x)\le 0,i=1,...,l\\ \ \ \ \ \ \ \ \ h_i(x)=0,i=1,...,m \end{cases}\)
一.计算对偶问题流程
\(1.写出拉格朗日函数\)
\(L(x)=f(x)+\sum_{i=1}^{l}\lambda_i g_i(x)+\sum_{i=1}^{m}\mu_i h_i(x)\)
\(2.写出拉格朗日对偶函数\)
\(d(\lambda,\mu)=inf_{x\in X}\{f(x)+\sum_{i=1}^{l}\lambda_i g_i(x)+\sum_{i=1}^{m}\mu_i h_i(x)|x\in X\},X是函数f(x)的定义域(\color{red}{求解的时候定义域不要漏了})，inf是求下确界的意思\)
\(3.求解拉格朗日对偶函数\)
\(这一步具体问题具体分析\)
\(4.写出对偶问题问题\)
\(对偶问题标准格式\)
\(\begin{cases}
max\ d(\lambda,\mu)\\
s.t.\ \lambda_i\ge 0, \mu_i无约束
\end{cases}\)
二.案例分析
1.最小二乘问题
\(\begin{cases} min\ f(x)=||x||_2^2 = x^Tx\\ s.t.\ Ax =b \end{cases},x\in R^n\)
写出拉格朗日函数和对偶函数
\(L(x)=f(x)+\sum_{i=1}^{l}\lambda_i g_i(x)+\sum_{i=1}^{m}\mu_i h_i(x) = x^Tx+ \mu ^T(Ax-b)\)
\(d(\lambda,\mu)=inf_{x\in X}\{f(x)+\sum_{i=1}^{l}\lambda_i g_i(x)+\sum_{i=1}^{m}\mu_i h_i(x)|x\in X\}\)
\(=inf_{x\in X}\{ x^Tx+ \mu ^T(Ax-b)|x\in R^n\}\)
\(d对x求偏导,求最小值,也就是下确界\)
\(\frac{\partial d}{\partial x} = 2x+A^T\mu =0\)
\(即x=-\frac{A^T\mu}{2}时,对偶函数d(\lambda,\mu)有下确界\)
\(d(\lambda,\mu)=x^Tx+ \mu ^T(Ax-b) = (-\frac{A^T\mu}{2})^T(-\frac{A^T\mu}{2}) + \mu^T(A( -\frac{A^T\mu}{2})-b)\)
\(=\frac{1}{4}\mu^TAA^T\mu - \frac{1}{2}\mu^TAA^T\mu - \mu^T b\)
\(=- \frac{1}{4}\mu^TAA^T\mu - \mu^T b\)
写出对偶问题
\(\begin{cases} max\ - \frac{1}{4}\mu^TAA^T\mu - \mu^T b \\ \mu 无约束\\ \end{cases}\)
2.线性规划问题
\(\begin{cases} min\ f(x)=c^Tx\\ s.t.\ Ax =b \end{cases},x\in R^n\)
写出拉格朗日函数和对偶函数
\(L(x)=f(x)+\sum_{i=1}^{l}\lambda_i g_i(x)+\sum_{i=1}^{m}\mu_i h_i(x) = c^Tx+ \mu ^T(Ax-b)\)
\(d(\lambda,\mu)=inf_{x\in X}\{f(x)+\sum_{i=1}^{l}\lambda_i g_i(x)+\sum_{i=1}^{m}\mu_i h_i(x)|x\in X\}\)
\(=inf_{x\in X}\{ c^Tx+ \mu ^TAx-\mu ^Tb|x\in R^n\}\)
求最小值,也就是下确界
\(这里没法像上面一样求导,注意观察 c^Tx+ \mu^T Ax-\mu^T b 是一个线性函数,怎么可能取到最小值呢?\)
\(显然必须c^T+ \mu ^TA =0,则最小值/下确界=-\mu ^Tb\)
则
\(d(\lambda,\mu) = \begin{cases}
-\mu ^Tb & c^T+ \mu ^TA =0 \\
-\infty & otherwise \\
\end{cases}\)
写出对偶问题
\(\begin{cases} max\ -\mu^Tb\\ c^T+ \mu ^TA =0\\ \mu 无约束\\ \end{cases}\)
