Max–min 不等式，KTT 条件，以及不等式的对偶形式
打打だいず - World's end loneliness
打打
的
音
色太
具
代
表性
而且在这么高的 BPM 还能表达出清晰的感情，真乃神曲 .
依旧是笑林广记：
老僧往后园出恭，误被笋尖搠入臀眼，乃唤疼不止。小沙弥见之，合掌云：“阿弥陀佛，天报。”
在三次互反律证明之前发现有好几节关于有限域上的狄利克雷特征的前置知识，先更一个水一点的，找个时间把常用不等式整理一下 .
有人看笑话，有人照镜子
Max–min 不等式
对于任意函数 \(f:X\times Y\rightarrow \R\)，有：
\[\displaystyle\sup_{x\in X}\inf_{y\in Y}f(x,y)\le \inf_{y\in Y}\sup_{x\in X}f(x,y) \]
证：
定义 \(g(x)\triangleq \inf_{y\in Y}f(x,y)\)，根据 \(\inf\) 的定义，有 \(g(x)\le f(x,y)\)，定义 \(h(y)\triangleq \sup_{x\in X}f(x,y)\)，根据 \(\sup\) 的定义，有 \(h(y)\ge f(x,y)\)，所以对于所有的 \(x\in X\) 和 \(y\in Y\) 有 \(g(x)\le h(y)\)，因为对于所有情况不等式成立，所以我们取 \(\sup_{x\in X}g(x)\le \inf_{y\in Y}h(y)\)，展开即为 Max-min 不等式，证毕 .
关于 Max-min 不等式取等的条件，我们有以下定理：
Minimax 定理
如果函数 \(f:X\times Y\rightarrow \R\) 满足以下条件：
\(f(x,y)\) 对于固定的 \(y\) 是凹的 .
\(f(x,y)\) 对于固定的 \(x\) 是凸的 .
则我们有：
\[\displaystyle\sup_{x\in X}\inf_{y\in Y}f(x,y)= \inf_{y\in Y}\sup_{x\in X}f(x,y) \]
在此不作证明 .
相信大家都知道带等式约束的优化问题的拉格朗日乘数做法，在此仅作简述：
设 \(f,g\) 是定义在 \(\R^n\) 上的函数，求解：
\[\begin{aligned} \min_x &\quad f(x)\\ \text{subject to}&\quad g_i(x)=0 \quad i=1,2,\cdots,n \end{aligned} \]定义拉格朗日函数 \(L(x,\lambda)=f(x)+\sum_k \lambda_k g_k(x)\)，其中 \(\lambda_k\neq 0\)，则 \(f(x)\) 的极值点 \(x^*\) 满足：
\[\begin{cases} \nabla L(x^*,\lambda)=0\\ \nabla_{\lambda}L(x^*,\lambda)=0 \end{cases} \]于是 \(f(x)\) 的带约束优化问题化为了 \(L(x,\lambda)\) 的无约束优化问题 .
类似带等式约束的优化问题，带不等式约束可以表示为：
设 \(f,g\) 是定义在 \(\R^n\) 上的函数，求解：
\[\begin{aligned} \min_x &\quad f(x)\\ \text{subject to}&\quad g_i(x)\le0 \quad i=1,2,\cdots,n \end{aligned} \]
考虑到等式可以拆成不等式，所以不额外列有等式约束的式子 .
设拉格朗日函数 \(L(x,\mu)=f(x)+\sum_k \mu_k g_k(x)\)，其中 \(\mu_k\ge 0\) .
有 \(\sum_k \mu_k g_k(x)\le 0\)，故：
发现 \(\max_{\mu}\min_x\sum_k \mu_k g_k(x)=0\) 且存在仅当 \(\sum_k \mu_k g_k(x)=0\)，此时有：
我们称 \(\max_{\mu}\min_x L(x,\mu)\) 是 \(\min_x\max_{\mu} L(x,\mu)\) 的对偶问题，，所以有 \(\max_{\mu}\min_x L(x,\mu)=f(x^*)=\max_{\mu}L(x^*,\mu)\)，所以在最优解 \(x^*\) 处有 \(\sum_k \mu_k g_k(x^*)=0\)，又因为 \(L(x^*,\mu)=\min_x L(x,\mu)\)，剩下就和等式约束的一样了 .
脑袋很乱，不想写了，发出来再说吧 .
