Convex Optimization: 2 Convex sets
本篇为凸优化的课程笔记。
文章目录
- Affine set 仿射集
- Convex set 凸集
- Convex combination and convex hull 凸组合与凸包
- Convex cone 凸锥
- Hyperplanes and halfspaces 超平面与半空间
- Euclidean balls and ellipsoids 欧几里得球和椭球
- Norm balls and norm cones 范数球与范数锥
- Polyhedra 多面体
- Positive semidefinite cone 半正定锥
- Operations that preserve convexity 保持凸性的操作
- Generalized inequalities 推广的不等式
- Minimum and minimal elements
- Separating hyperplane theorem 分离超平面定理
- Supporting hyperplane theorem 支撑超平面定理
- Dual cones and generalized inequalities 对偶锥以及推广不等式
- Minimum and minimal elements via dual inequalities
- optimal production frontier
Affine set 仿射集
过两个点 的直线上所有点形成仿射集。
这个例子可以玩味一下:线性方程组 的解集是仿射集,证明如下:
Convex set 凸集
凸集则是两个点之间的线段形成的集合。
Convex combination and convex hull 凸组合与凸包
凸组合为点的线性组合,其中每个参数要求大于等于零,且参数和为1. 集合 的凸包则为 中所有点的凸组合。
Convex cone 凸锥
凸锥组合类似凸组合,不同之处在于参数的和没有等于 1 这一限制,但是每个参数仍要大于等于零。凸锥则为集合中所有点的凸锥组合形成的集合。
Hyperplanes and halfspaces 超平面与半空间
超平面既是仿射集又是凸集;半空间只是凸集。
Euclidean balls and ellipsoids 欧几里得球和椭球
欧几里得球是距离中心点的二范数小于 的点集, 是该球的半径。椭球也有相应的表示。
需要注意的是在椭球的第一种表示中 中的 和集合是一一对应的,也就是说相同集合对应的矩阵 是唯一的,此处 是一个对称的正定矩阵。
而在第二种表示中 ,此处的矩阵 不唯一,假如把 换成 ,其中 是一个正交矩阵,那么这个集合仍然不变,因为相当于是对 先做了一下旋转。而假如限定矩阵 必须是一个对称正定矩阵的话, 就变成唯一的了(证明方法是对 进行奇异值分解)。
Norm balls and norm cones 范数球与范数锥
范数是一个函数,其满足三个条件:
- 非负性, 只在 的时候结果才是零
- 齐次性
- 三角不等式
欧几里得范数锥也叫做二阶锥。范数球和范数锥都是凸的。
Polyhedra 多面体
Positive semidefinite cone 半正定锥
Operations that preserve convexity 保持凸性的操作
Intersection 取交
凸集的交集仍是凸集,PPT给的这个例子很妙,见板书里的证明。
Affine function 仿射函数
仿射函数更加一般的说法叫做线性函数。一个凸集经过仿射函数的变换后仍是凸集,反过来也是一样的,凸集经过逆变换之后仍是凸集。注意有可能实际方程的逆变换并不存在,但是凸集经过逆变换之后仍是凸集的这个关系是存在的。
仿射函数的例子有:缩放,平移,投影。
还有双曲锥(hyperbolic cone):
(?什么是双曲锥)
Perspective and linear-fractional function 透视函数与分式线性函数
Generalized inequalities 推广的不等式
一个凸锥 ,当它满足以下三个条件时,被称作是一个真锥(proper cone):
- 是闭的(closed),即包含边界
- 是实在的(solid), 即其内部是非空的,比如一条射线是一个锥,但是这个射线内部是空的(点都在边界上)
- 是 pointed 的,意思是不包含直线,比如说一条直线(双向延申)是一个锥,但不是一个真锥,也就是说真锥意味着是单向延申的。
举几个栗子:
- 非负象限:
- 半正定锥
- 上的非负多项式:
generalized inequality 推广不等式:
定义一个真锥 ,则:
即 在真锥 范围内小于等于 ,则说明其差值在真锥范围内;假如是严格小于,则其差值在真锥内部的点中(就是说不在边界上, 表示 interitor)
举几个例子:
- 每个元素的不等式(,即 是非负实数),则:
- 矩阵不等式()
这两种类型很常见,所以有时会扔掉下标
性质: 的性质很多和 上 的性质类似,比如:
Minimum and minimal elements
并不是一个全序的(linear/total ordering),可以有 并且 ,也就是说这两个元素是不可比较的(incomparable)
比如说在 上:
也就是说这两个向量是不可比较的。
由此引出了很有趣的概念,在此意义下,最小值有两个概念:
在 上是 the minimum element 时,
在 上是 a minimal element 时,
比如 ,
minimum 是唯一的,并且有可能不存在,根据定义 中任何一个点都要和 能够比较,并且 要小于等于他们,此时 为 the minimum
minimal 是不唯一的,意思是假如说 中存在点 是可以和 相比较,并且 小于 ,那么 一定等于 ,此时 是一个 minimal element,,图中 左下角边上所有的点都是 minimal element
两种类型的判断方法:
- minimum:过该点画一个锥 ,保证集合 中的点全在锥中
- minimal:过该点画一个反向锥,保证集合 中只有一个点(也就是该点)在这个反向锥中
Separating hyperplane theorem 分离超平面定理
Supporting hyperplane theorem 支撑超平面定理
Dual cones and generalized inequalities 对偶锥以及推广不等式
Minimum and minimal elements via dual inequalities