Convex Optimization: 3 Convex functions

这是凸优化第三章的笔记

文章目录

• Definition 定义
• Examples on R 一些例子
• Examples on $\R^n$ and $\R^{m\times n}$
• Restriction of a convex function to a line
• Extended-value extension
• First-order condition
• Second-order conditions
• Examples
• Epigraph and sublevel set
• Jensen’s inequality
• Operations that preserve convexity
• Positive weighted sum & composition with affine function
• Pointwise maximum
• Pointwise supremum
• Composition with scalar functions
• Vector composition
• Minimization
• Perspective
• The conjugate function
• Examples
• Quasiconvex functions
• Examples
• Properties
• Log-concave and log-convex functions
• Properties of log-concave functions
• Convexity with respect to generalized inequalities

Definition 定义

$\mathbf{dom}\ f$ 意思是 $f$ 的 domain （定义域）

也就是说其定义域要是一个凸集

Examples on R 一些例子

Examples on $\R^n$ and $\R^{m\times n}$

最后一个是矩阵的最大奇异值（不是一个简单的函数），是凸的。

Restriction of a convex function to a line

老师在这里讲了个怎么证明复杂函数凸性的笑话，笑死我了…去看原视频吧

Extended-value extension

First-order condition

Second-order conditions

Examples

Epigraph and sublevel set

epigraph 指的是曲线上方的点集

Jensen’s inequality

Operations that preserve convexity

Positive weighted sum & composition with affine function

Pointwise maximum

Pointwise supremum

Composition with scalar functions

Vector composition

$\log\sum_{i=1}^m\exp{g_i(x)}$ 这里不能从里向外来判断凸性，首先要根据 $\log\sum_{i=1}^m\exp(x)$ 这个函数凸的（见 second-order 的例子那里 log-sum-exp），然后再判断整体是凸的。

Minimization

Perspective

The conjugate function

Examples

Quasiconvex functions

Examples

internal rate of return 内部收益率

Properties

Log-concave and log-convex functions

正态分布的密度函数取 log 之后是一个常数减去一个凸的二次函数，因此是 concave 的

老师还讲了在任意集合上的均匀分布都是 log-concave 的，脑补一下，其概率密度在集合内是常数，在集合外是零，取 log 之后在集合内仍是常数，在集合外是负无穷，想象一下这个图像，它是 concave 的。

Properties of log-concave functions

Convexity with respect to generalized inequalities