凸优化【4 凸函数】

1|0引言

本文先介绍凸函数的4种定义方式，然后介绍一些凸函数。

2|0凸函数的第一个定义

$f: R^n \rightarrow R$为凸函数，等价于：$dom f$为凸，且

$$\forall x,y \in dom f, 0 \leq \theta \leq 1$$

有

$$f(\theta x + (1-\theta)y) \leq \theta f(x) + (1 - \theta)f(y)$$

3|0凸函数的第二个定义（高维情况下用的比较多）

若$f：R^n \rightarrow R$为凸，等价于：
$dom f$为凸，$\forall x \in dom f, \forall v$，

$$g(t) = f(x + tv)$$

为凸函数，$dom g=\{t|x+tv \in dom f\}$

4|0凸函数的第三个定义：一阶条件

设$f: R^n \rightarrow R$可微，即梯度$\bigtriangledown f$在$dom f$上均存在，则$f$为凸函数等价于：

1. $dom f$为凸。

2. $f(y) \geq f(x) + \bigtriangledown f^T(x)(y-x), \forall x,y \in dom f$

5|0一些常见函数

5|1二次函数

$$f: R^n \leftarrow R, dom f \in R^n$$

$$f(x)=\frac{1}{2}x^TPx + q^Tx + r$$

求其黑塞矩阵：$\bigtriangledown^2 f(x)=P$，当$P>0$的时候，二次函数就是凸函数。

5|2分数函数

$$f(x)=\frac{1}{x^2}, x \not= 0, x \in R$$

其二阶倒数$f^{``}(x)=6x^{-4}>0$，虽然二阶导大于0，但是这个函数并不是凸函数。主要原因是因为：要定义域是凸集，且二阶导大于0的函数才是凸函数。这里定义域不是凸集。

5|3仿射函数

$$f(x)=Ax + b, \bigtriangledown^2f(x)=0$$

故仿射函数即时凸函数，也是凹函数。

5|4指数函数

$$f(x)=e^{ax}, x\in R$$

$$f^{``}(x)=a^2 e^{ax} > 0$$

故指数函数是凸函数。

5|5幂函数

$$f(x)=x^a, x \in R_{++}$$

$$f^{``}(x)=a(a-1)x^{a-2}$$

$$\bigtriangledown^2f(x) = \begin{cases} \geq 0, a \geq 1 或 a \leq 0 \\ \leq 0, 0 \leq a \leq 1 \end{cases}$$

5|6绝对值幂函数

$$f(x) = |x|^p, x\in R$$

$$f^{``}(x) = \begin{cases} p(p-1)x^{p-2}, x \geq 0 \\ p(p-1)(-x)^{p-2}, x < 0 \end{cases}$$

当$p\geq 1$时，该函数为凸函数。

5|7对数函数

$$f(x)=log(x), x\in R_{++}$$

• 凹函数

5|8负熵

$$f(x)=xlogx , x \in R_{++}$$

• 凸函数

5|9范数

下面给出范数的定义：
$R^n$空间的范数$p(x), x\in R^n$，满足三个性质：

1. $p(ax)=|a|p(x)$
2. $p(x+y) \leq p(x)+p(y)$
3. $p(x)=0 \leftrightarrows x=0$

• 范数函数是凸函数。

5|10零范数

零范数的定义是：$||x||_0=非零元素的数目$

• 该函数虽然名字有叫范数，但它不是范数，也不是凸函数。

5|11极大值函数

__EOF__

本文作者：靖哥哥
本文链接：https://www.cnblogs.com/shenhaojing/p/11436920.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！