subgradients

定义
- 上镜图解释
次梯度的存在性
性质
应用

《Subgradients》
Subderivate-wiki
Subgradient method-wiki
《Subgradient method》
Subgradient-Prof.S.Boyd,EE364b,StanfordUniversity
《Characterization of the Subdifferential of Some Matrix Norms 》

定义

我们称 $g \in \mathbb{R}^n$ 是 $f:\mathbb{R}^{n} \rightarrow \mathbb{R}$ 在 $x\in domf$ 的次梯度，如果对于任意的 $z \in domf$ ，满足：

f (z) \geq f (x) + g^{T} (z - x)

$f(z) \ge f(x) + g^T(z-x)$

如果 $f$ 是可微凸函数，那么 $g$ 就是 $f$ 在 $x$ 处的梯度。我们将 $z$ 看成变量，那么仿射函数 $f(x)+g^T(z-x)$ 是 $f(z)$ 的一个全局下估计。这个次梯度的作用，就是在处理不可微函数的时候，提供一个替代梯度的工具，而且，根据定义，沿着次梯度方向，函数的值是非降的：

f (α g + x) \geq f (x) + α g^{T} g

$f(\alpha g+x) \ge f(x) + \alpha g^Tg$

另外，如果极限存在，有下面的性质，这联系了方向导数和次梯度：

lim_{z \to x^{+}} \frac{f (z) - f (x)}{‖ z - x ‖} \geq g^{T} (z - x) / ‖ z - x ‖

$\lim \limits_{z \rightarrow x^+} \frac{f(z)-f(x)}{\|z-x\|} \ge g^T(z-x)/\|z-x\|$

当然，还有从左往右的来的，这里就不讲了。

下图是一个例子，我们可以看到，在存在梯度的地方，次梯度就是梯度，在不可导的地方，次梯度是一个凸集。
在这里插入图片描述

次梯度总是闭凸集，即便 $f$ 不是凸函数，有下面的性质：

\partial f (x) = ⋂_{z \in d o m f} {g | f (z) \geq f (x) + g^{T} (z - x)}

$\partial f(x) = \bigcap \limits_{z \in domf} \{ g| f(z) \ge f(x) + g^T (z-x) \}$

下面是 $f(x) = |x|$ 的例子：
在这里插入图片描述

上镜图解释

$g$ 是次梯度，当且仅当 $(g, -1)$ 是 $f$ 的上镜图在 $(x, f(x))$ 处的一个支撑超平面。
在这里插入图片描述

函数 $f$ 的上镜图定义为：

e p i f = {(x, t) | x \in d o m f, f (x) \leq t}

$\mathbf{epi} f = \{ (x, t) | x \in \mathbf{dom} f, f(x) \le t\}$

一个函数是凸函数，当且仅当其上镜图是凸集。

我们来证明一开始的结论，即 $g$ 是次梯度，当且仅当 $(g, -1)$ 是 $f$ 的上镜图在 $(x, f(x))$ 处的一个支撑超平面。
首先，若 $(g, -1)$ 是 $f$ 的上镜图在 $(x, f(x))$ 处的一个支撑超平面，则：

g^{T} (x - x_{0}) - (t - f (x_{0})) \leq 0 \Rightarrow t \geq f (x_{0}) + g^{T} (x - x_{0})

$g^T(x-x_0)-(t-f(x_0)) \le 0 \\ \Rightarrow t \ge f(x_0)+g^T(x-x_0)$

对所有 $(x, t) \in \mathbf{epi} f$ 成立，令 $t=f(x)$ ，结果便得到。
反过来，如果 $g$ 是次梯度，那么：

f (z) \geq f (x) + g^{T} (z - x) \Rightarrow f (z) - f (x) \geq g^{T} (z - x)

$f(z) \ge f(x) + g^T(z-x) \\ \Rightarrow f(z)-f(x) \ge g^T(z-x)$

又 $t \ge f(z), (z, t) \in \mathbf{epi} f$ ,所以：

t - f (x) \geq f (z) - f (x) \geq g^{T} (z - x)

$t - f(x)\ge f(z)-f(x) \ge g^T(z-x)$

所以， $(g,-1)$ 在 $(x, f(x))$ 处定义了一个超平面。

次梯度的存在性

如果 $f$ 是凸函数，且 $x \in \mathbf{int} \mathbf{dom} f$ ，那么 $\partial f(x)$ 非空且闭。根据支撑超平面定理，我们知道，在 $(x, f(x))$ 处存在关于 $\mathbf{epi} f$ 的一个超平面，设 $a \in \mathbb{R}^n, b \in \mathbb{R}$ ，则对于任意的 $(z, t)\in \mathbf{epi} f$ 都有：
在这里插入图片描述
显然， $(x, f(x)+\epsilon)$ 也符合条件，这意味着 $b\le0$ ，以及：

a^{T} (z - x) + b (f (z) - f (x)) \leq 0

$a^T(z-x)+b(f(z) - f(x)) \le 0$

对所有 $z$ 成立。
如果 $b=0$ ，那么 $a=0$ ，不构成超平面，即 $b < 0$ 。
于是：

f (z) \geq f (x) + - a^{T} / b (z - x)

$f(z) \ge f(x) +-a^T/b(z-x)$

即 $-a/b \in \partial f(x)$

性质

极值

$x^*$ 是凸函数 $f(x)$ 的最小值，当且仅当 $f$ 在 $x^*$ 处存在次梯度且

0 \in \partial f (x^{*})

$0 \in \partial f(x^*)$

$f(x) \ge f(x^*) \Rightarrow 0 \in \partial f(x^*)$

非负数乘 $\alpha f(x)$

$\partial(\alpha f) = \alpha \partial f, \alpha \ge 0$

和，积分，期望

$f = f_1+f_2\ldots+f_n$ ， $f_i,i=1,2,\ldots,m$ 均为凸函数，那么：

\partial f = \partial f_{1} + \partial f_{2} + \dots + \partial f_{n}

$\partial f=\partial f_1 +\partial f_2 + \ldots +\partial f_n$

$F(x)= \int_Y f(x,y) dy$ , 固定 $y$ , $f(x,y)$ 为凸函数，那么：

\partial F (x) = \int_{Y} \partial_{x} f (x, y) d y

$\partial F(x)=\int_Y \partial_x f(x,y) dy$

f (z, y) \geq f (x, y) + g^{T} (y) (z - x) \Rightarrow \int_{Y} f (z, y) d y \geq \int_{Y} f (x, y) d y + \int_{Y} g^{T} (y) d y (z - x)

$f(z,y) \ge f(x,y)+g^T(y)(z-x) \\ \Rightarrow \int_Yf(z,y)dy \ge \int_Yf(x,y)dy+\int_Yg^T(y)dy(z-x)$

不过需要注意的一点是，这里的等号都是对于特定的次梯度，我总感觉 $f$ 的次梯度的集合不止于此，或许会稍微大一点？就是对于和来讲，下面这个式子成立吗？：

\partial f = {g_{1} + g_{2} + \dots + g_{n} | g_{1} \in \partial f_{1}, \dots, g_{n} \in \partial f_{n}}

$\partial f=\{ g_1+g_2+\ldots + g_n| g_1\in \partial f_1, \ldots, g_n\in \partial f_n\}$

至少凸函数没问题吧，凸函数一定是连续函数，且左右导数存在，那么 $g$ 的范围都是固定的。

仿射变换

$f(x)$ 是凸函数，令 $h(x)=f(Ax+b)$ 则：

f (A z + b) \geq f (A x + b) + g^{T} (A z + b - A x - b) \Rightarrow h (z) \geq h (x) + (A^{T} g)^{T} (z - x) \Rightarrow \partial h (x) = A^{T} \partial f (A x + b)

$f(Az+b) \ge f(Ax+b)+g^T(Az+b-Ax-b) \\ \Rightarrow h(z) \ge h(x)+ (A^Tg)^T(z-x) \\ \Rightarrow \partial h(x)=A^T\partial f(Ax+b)$

仿梯度

我们知道梯度有下面这些性质：

\nabla c = 0 \nabla (φ \pm ψ) = \nabla φ \pm \nabla ψ \nabla (c φ) = c \nabla φ \nabla (\frac{φ}{ψ}) = \frac{ψ \nabla φ - φ \nabla ψ}{ψ^{2}} \nabla f (φ) = f^{'} (φ) \nabla φ

$\nabla c = 0\\ \nabla (\varphi \pm \psi) = \nabla \varphi \pm \nabla \psi \\ \nabla(c\varphi) = c \nabla \varphi \\ \nabla (\frac{\varphi}{\psi})= \frac{\psi \nabla \varphi - \varphi \nabla \psi}{\psi^2} \\ \nabla f(\varphi) = f'(\varphi) \nabla \varphi \\$

我认为（注意是我认为！！！大概是是异想天开。） $f$ 为凸函数的时候，或者 $f$ 为可微（这个时候是一定的）的时候，上面的性质也是存在的。当然，这只是针对某些次梯度。因为当 $f$ 为凸函数的时候， $f$ 的左右导数都存在，那么：

k_{+} := lim_{t \to 0^{+}} \frac{f (x + t e_{k}) - f (x)}{t}

$k_+:=\lim \limits_{t \rightarrow 0^+} \frac{f(x+te_k)-f(x)}{t}$

那么（凸函数的性质）

f (x + t e_{k}) - f (x) \geq t k_{+} = (k_{+} e_{k})^{T} (t e_{k}), t > 0

$f(x+te_k)-f(x) \ge tk_+=(k_+e_k)^T(te_k), t>0$

同理：

k_{-} := lim_{t \to 0^{-}} \frac{f (x + t e_{k}) - f (x)}{t}

$k_-:=\lim \limits_{t \rightarrow 0^-} \frac{f(x+te_k)-f(x)}{t}$

f (x + t e_{k}) - f (x) \geq t k_{-} = (k_{-} e_{k})^{T} (t e_{k}), t < 0

$f(x+te_k)-f(x) \ge tk_-=(k_-e_k)^T(te_k), t<0$

而且 $k_- \le k_+$ 。
事实上，因为：

\frac{f (x + t e_{k}) - f (x)}{t} \geq k_{+} \geq k_{-} \geq \frac{f (x) - f (x - t e_{k})}{t}, t > 0

$\frac{f(x+te_k)-f(x)}{t} \ge k_+ \ge k_- \ge \frac{f(x)-f(x-te_k)}{t},t>0$

所以，容易证明：

f (x + t e_{k}) \geq f (x) + (λ_{1} k_{+} + (1 - λ_{1}) k_{-}) e_{k}^{T} t e_{k}, 0 \leq λ_{1} \leq 1

$f(x+te_k) \ge f(x) + (\lambda_1k_+ + (1-\lambda_1)k_-)e_k^Tte_k, 0 \le \lambda_1 \le 1$

容易验证 $h(t) = f(x+tv)$ 时关于 $t$ 的凸函数，那么：

K_{v}^{+} := lim_{t \to 0^{+}} \frac{h (t) - h (0)}{t ‖ v ‖}

$K_v^+ := \lim \limits_{t \rightarrow 0^+} \frac{h(t)-h(0)}{t\|v\|}$

同理

K_{v}^{-} := lim_{t \to 0^{-}} \frac{h (t) - h (0)}{t ‖ v ‖}

$K_v^- := \lim \limits_{t \rightarrow 0^-} \frac{h(t)-h(0)}{t\|v\|}$

一样的分析，我们可以知道：

f (x + t v) \geq f (x) + \frac{(λ K_{v}^{+} + (1 - λ) K_{v}^{-})}{‖ v ‖} v^{T} t v, 0 \leq λ \leq 1

$f(x+tv) \ge f(x) + \frac{(\lambda K_v^+ + (1-\lambda )K_v^-)}{\|v\|} v^Ttv, 0 \le \lambda \le 1$

不好意思，证到这里我证不下去了，我实在不知道结果该是什么。

混合函数

在这里插入图片描述

应用

Pointwise maximum

f (x) = max_{i = 1, 2, \dots, m} f_{i} (x)

$f(x)=\max \limits_{i=1,2,\ldots,m} f_i(x)$

其中 $f_i,i=1,2,\ldots,m$ 为凸函数。
在这里插入图片描述

$\mathbf{Co}(\cdot)$ 大概是把里面的集合凸化（我的理解）：

C o (S) = {λ g_{1} + (1 - λ) g_{2} | g_{1}, g_{2} \in S, λ \in [0, 1]}

$\mathbf{Co}(\mathcal{S})=\{ \lambda g_1+(1-\lambda) g_2| g_1,g_2\in \mathcal{S},\lambda \in [0,1]\}$

第一个例子，可微函数取最大：
在这里插入图片描述
我倒觉得蛮好理解的，因为 $\nabla_i f(x)$ 和 $\nabla_j f(x)$ 如果都是次梯度，那么根据次梯度的集合都是凸集可以知道 $\nabla_i f(x),\nabla_j f(x)$ 的凸组合也是次梯度。

第二个例子， $\ell_1$ 范数：
在这里插入图片描述
我也觉得蛮好理解的。

上确界 supremum

f (x) = sup_{α \in A} f_{α} (x)

$f(x) = \sup \limits_{\alpha \in \mathcal{A}} f_\alpha (x)$

$f_\alpha (x)$ 是次可微的。
在这里插入图片描述

例子，最大特征值问题：
在这里插入图片描述

Minimization over some variables

在这里插入图片描述

拟凸函数

在这里插入图片描述

posted @ 2019-04-11 15:49 馒头and花卷阅读(1037) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

馒头and花卷

subgradients