2024.10.15 闲话

感受一下 2024 年集训队论文！虽然可能 joke3579 在 2022 年就读过了（？

歌：all is ai - 歌愛ユキ & GUMI .

首先回忆一下拉格朗日乘数法 . 对于带等式约束的最优化问题：

\begin{aligned} max & f (x) \\ s.t. & {\begin{cases} g_{1} (x) = 0 \\ \dots \\ g_{m} (x) = 0 \end{cases} \end{aligned}

$\begin{aligned}\max\ &f(\bm x)\\\text{s.t. }&\begin{cases}g_1(\bm x)=0\\\cdots\\g_m(\bm x)=0\\\end{cases}\end{aligned}$

其中 $f,g_{1\dots m}$ 是 $\R^n\to\R$ 的连续可微函数，则可以加入拉格朗日乘数 $\lambda_{1\dots m}$ 把问题改写为

max_{x} min_{λ} {f (x) + \sum_{i = 1}^{m} λ_{i} g_{i} (x)}

$\max_{\bm x}\min_{\bm\lambda}\left\{f(\bm x)+\sum_{i=1}^m\lambda_ig_i(\bm x)\right\}$

那么在 $g_i(\bm x)\neq 0$ 的时候可以调整 $\lambda_i$ 让 min 取到 $-\infty$ ，所以所有 $g_i(\bm x)$ 肯定都为 0 .

具体的拉格朗日乘数定理和拉格朗日乘数法可以看论文，这里先跳过一下 . 总之这部分只需要感受这股 $\lambda$ 的劲！

介绍：拉格朗日对偶！

对于 $f:\R^n\to\R,\,g:\R^n\to\R^m,\,h:\R^n\to\R^p$ ，考虑最优化问题：

\begin{aligned} max & f (x) \\ s.t. & g (x) \geq 0 \\ h (x) = 0 \end{aligned}

$\begin{aligned}\max\ &f(\bm x)\\\text{s.t. }&g(\bm x)\ge 0\\&h(\bm x)=0\end{aligned}$

定义拉格朗日函数 $F:\R^n\times\R^m\times\R^p\to R$ 为：

F (x, λ, ν) = f (x) + λ^{T} g (x) + ν^{T} h (x)

$F(\bm x,\bm\lambda,\bm\nu)=f(\bm x)+\bm\lambda^{\sf T}g(\bm x)+\bm\nu^{\sf T}h(\bm x)$

定义拉格朗日对偶函数 $L:\R^m\times\R^p\to R$ ：

L (λ, ν) = max_{x} F (x, λ, ν)

$L(\bm\lambda,\bm\nu)=\max_{\bm x}F(\bm x,\bm\lambda,\bm\nu)$

定义其拉格朗日对偶问题为：

\begin{aligned} min & L (λ, ν) \\ s.t. & λ \geq 0 \end{aligned}

$\begin{aligned}\min\ &L(\bm\lambda,\bm\nu)\\\text{s.t. }&\bm\lambda\ge \bm 0\end{aligned}$

此处首先 $L$ 有凸性，其次在某些情况下原问题和拉格朗日对偶问题的解相等 .

凸性

考虑到应该也没多少人想看所以就折叠一下 . 其实也比较简单，就直接暴力代入定义就可以了 .

考虑：

L (a λ_{1} + (1 - a) λ_{2}, a ν_{1} + (1 - a) ν_{2}) = max_{x} F (x, a λ_{1} + (1 - a) λ_{2}, a ν_{1} + (1 - a) ν_{2})

$L(a\bm\lambda_1+(1-a)\bm\lambda_2,a\bm\nu_1+(1-a)\bm\nu_2)=\max_{\bm x}F(\bm x,a\bm\lambda_1+(1-a)\bm\lambda_2,a\bm\nu_1+(1-a)\bm\nu_2)$

最大值在 $\bm x_0$ 处取到，则：

\begin{aligned} L (a λ_{1} + (1 - a) λ_{2}, a ν_{1} + (1 - a) ν_{2}) & = F (x_{0}, a λ_{1} + (1 - a) λ_{2}, a ν_{1} + (1 - a) ν_{2}) \\ = f (x_{0}) + (a λ_{1} + (1 - a) λ_{2})^{T} g (x_{0}) + (a ν_{1} + (1 - a) ν_{2})^{T} h (x_{0}) \\ = a (f (x_{0}) + λ_{1}^{T} g (x_{0}) + ν_{1}^{T} h (x_{0})) + (1 - a) (f (x_{0}) + λ_{2}^{T} g (x_{0}) + ν_{2}^{T} h (x_{0})) \\ = a F (x_{0}, λ_{1}, ν_{1}) + (1 - a) F (x_{0}, λ_{2}, ν_{2}) \\ \leq a L (λ_{1}, ν_{1}) + (1 - a) L (λ_{2}, ν_{2}) \end{aligned}

$\begin{aligned}L(a\bm\lambda_1+(1-a)\bm\lambda_2,a\bm\nu_1+(1-a)\bm\nu_2)&=F(\bm x_0,a\bm\lambda_1+(1-a)\bm\lambda_2,a\bm\nu_1+(1-a)\bm\nu_2)\\&=f(\bm x_0)+(a\bm\lambda_1+(1-a)\bm\lambda_2)^{\sf T}g(\bm x_0)+(a\bm\nu_1+(1-a)\bm\nu_2)^{\sf T}h(\bm x_0)\\&=a(f(\bm x_0)+\bm\lambda_1^{\sf T}g(\bm x_0)+\bm\nu_1^{\sf T}h(\bm x_0))+(1-a)(f(\bm x_0)+\bm\lambda_2^{\sf T}g(\bm x_0)+\bm\nu_2^{\sf T}h(\bm x_0))\\&=aF(\bm x_0,\bm\lambda_1,\bm\nu_1)+(1-a)F(\bm x_0,\bm\lambda_2,\bm\nu_2)\\&\le aL(\bm\lambda_1,\bm\nu_1)+(1-a)L(\bm\lambda_2,\bm\nu_2)\end{aligned}$

对于对偶性，先不加证明地给出几个定理：

min-max 不等式

对于 $F:D_x\times D_y\to\R$ ，有 $\displaystyle\max_y\min_x F(x,y)\le\min_x\max_yF(x,y)$ .

minimax 定理

对于 $D_x\subseteq\R^n,D_y\subseteq R^m$ 是紧致凸集，连续函数 $F:D_x\times D_y\to\R$ 关于 $x$ 是凸函数、关于 $y$ 是凹函数，有 $\displaystyle\max_y\min_x F(x,y)=\min_x\max_yF(x,y)$ .

此处需要解释一下定义：

$\R^n$ 的子集是紧致的当且仅当它是闭集合且有界 .

$\R^n$ 的子集 $S$ 是凸集当且仅当它 $\forall p,q\in S,\forall\lambda\in[0,1],\lambda p+(1-\lambda)q\in S$ .

对于凸集 $C$ ， $f:C\to\R$ 是凸函数当且仅当 $\forall p,q\in C,\forall\lambda\in[0,1],f(\lambda p+(1-\lambda)q)\le\lambda f(p)+(1-\lambda)f(q)$ .

对于凸集 $C$ ， $f:C\to\R$ 是凹函数当且仅当 $\forall p,q\in C,\forall\lambda\in[0,1],f(\lambda p+(1-\lambda)q)\ge\lambda f(p)+(1-\lambda)f(q)$ .

然后有弱对偶性：原问题的最优解一定不大于拉格朗日对偶问题的最优解 .

具体证明也是加入拉格朗日乘数：

\begin{aligned} s^{*} & = max_{g (x) \geq 0, h (x) = 0} f (x) \\ = max_{x} min_{λ \geq 0, ν} {f (x) + λ^{T} g (x) + ν^{T}} \\ \leq min_{λ \geq 0, ν} max_{x} {f (x) + λ^{T} g (x) + ν^{T}} \\ = min_{λ \geq 0, n} L (λ, ν) \\ = t^{*} \end{aligned}

$\begin{aligned}s^{*}&=\max_{g(\bm x)\ge0,h(\bm x)=0}f(\bm x)\\&=\max_{\bm x}\min_{\bm\lambda\ge0,\bm\nu}\{f(\bm x)+\bm \lambda^{\sf T}g(\bm x)+\bm\nu^{\sf T}\}\\&\le\min_{\bm\lambda\ge0,\bm\nu}\max_{\bm x}\{f(\bm x)+\bm \lambda^{\sf T}g(\bm x)+\bm\nu^{\sf T}\}\\&=\min_{\bm\lambda\ge 0,\bm n}L(\bm\lambda,\bm\nu)\\&=t^{*}\end{aligned}$

然后如果这里的不等号满足 minimax 定理条件则等号成立 . 听说 OI 中用这个等号成立条件就够了？

然而对线性规划使用拉格朗日对偶只会得到常规的对偶 .

其实用这种东西好像能更理性解释一下纳什均衡的规划怎么做的，原来那个 2023.11.7 闲话的解释有点玄学的感觉了 .

先跳过博弈论，双人每人策略集合有限的完全信息静态非合作零和博弈的纳什均衡相当于这样的问题：有一个 $n\times m$ 矩阵 $A$ ，一种策略可以由列向量 $\bm a,\bm b$ 表示，其中 $\bm a,\bm b$ 的每个元素都在 $[0,1]$ 间且分别的和为 1 . 此时两人的期望收益分别等于 $\bm a^{\sf T}A\bm b$ 和 $-\bm a^{\sf T}A\bm b$ . 策略是纳什均衡的当且仅当每个人只改变自己的策略都不会让自己的期望收益增加 .

可以证明这样的博弈一定存在纳什均衡点且这样的纳什均衡点期望收益相同 . 若纳什均衡时双方的策略为 $\bm a_0,\bm b_0$ ，则：

max_{a} a^{T} A b_{0} = min_{b} a_{0}^{T} A b

$\max_{\bm a}\bm a^{\sf T}A\bm b_0=\min_{\bm b}\bm a_0^{\sf T}A\bm b$

可以扩写为：

min_{b} max_{a} a^{T} A b \leq max_{a} a^{T} A b_{0} = min_{b} a_{0}^{T} A b \leq max_{a} min_{b} a^{T} A b

$\min_{\bm b}\max_{\bm a}\bm a^{\sf T}A\bm b\le\max_{\bm a}\bm a^{\sf T}A\bm b_0=\min_{\bm b}\bm a_0^{\sf T}A\bm b\le\max_{\bm a}\min_{\bm b}\bm a^{\sf T}A\bm b$

根据 min-max 不等式可知此时不等号中等号全部成立，那么可以把纳什均衡改成一个两步的博弈，每步每人选择自己的向量，这样就方便分析了 . 原文写的是用 minimax 定理但是感觉道理不多 .

习题：THUPC2023 初赛欺诈游戏 .

upd. 那个无意识之外的捉迷藏好像也是这种

Reference. 施开成《浅谈拉格朗日乘数及对偶在 OI 中的应用》 .

但是不管你喜不喜欢，它永远都在那里 .

图