凸集,凸函数,无约束优化问题

Hesse矩阵和Jacobi矩阵

注意Hesse矩阵计算过程中目标变量是一元实值，自变量是向量，经过一阶导后变成目标变量为函数矩阵，自变量为向量函数，然后函数矩阵对向量求导，见书上定义 1.3.2

$$\nabla^2f(x)=\begin{pmatrix} \frac{\partial^2f(x)}{\partial x_1^2} & \frac{\partial^2f(x)}{\partial x_1\partial x_2} & ... \\ ...\\ \frac{\partial^2f(x)}{\partial x_n\partial x_1} & \frac{\partial^2f(x)}{\partial x_n\partial x_2} & ... \frac{\partial^2f(x)}{\partial x_n\partial x_n} \\ \end{pmatrix}$$

Jacobi矩阵计算过程中目标变量本身就是函数矩阵，自变量是向量,见书上定义 1.3.3

$F(x)=(f_1(x),f_2(x),...,f_m(x))^T,x=(x_1,x_2,...,x_n)^T$

$$F'(x)=\begin{pmatrix} \frac{\partial f_1(x)}{\partial x_1} & \frac{\partial f_1(x)}{\partial x_2} & ... & \frac{\partial f_1(x)}{\partial x_n}\\ ...\\ \frac{\partial f_m(x)}{\partial x_1} & \frac{\partial f_m(x)}{\partial x_2} & ... & \frac{\partial f_m(x)}{\partial x_n} \\ \end{pmatrix}$$

1.凸集

凸集的定义

$设集合D\subset R^n,如果对任意的x,y\in D,与任意的\alpha \in [0,1],有$

$$\alpha x+(1-\alpha)y \in D$$

$那么称集合D是凸集$
$简单说凸集就是：若两个点属于此集合，则这两个点连线上的任意一点均属于此集合$

凸集的性质

$设D_1,D_2\subset R^n是凸集,\alpha\in R,则$

• $D_1\cap D_2=\{x|x\in D_1,x\in D_2\}是凸集$
• $\alpha D_1 = \{\alpha x| x\in D_1\} 是凸集$
• $D_1+D_2=\{x+y|x\in D_1,y\in D_2\}是凸集$
• $D_1-D_2=\{x-y|x\in D_1,y\in D_2\}是凸集$

凸集的判定

• $充要条件:对任意m\ge 2,任给x_1,...,x_m\in D和实数\alpha_1,...,\alpha_m,且\alpha_i\ge0,i=1,2...,m,\sum\limits_{i=1}^{m}\alpha =1,均有$

$$\alpha_1x_1 + ...+ \alpha_mx_m \in D$$

2.凸函数

凸函数的定义

$设D是非空凸集,f是定义在D上的函数,如果对任意的x_1,x_2\in D,\alpha\in (0,1),均有$

$$f(\alpha x_1+(1-\alpha)x^2) \le \alpha f(x_1)+(1-\alpha)f(x_2)$$

$则称f为D上的凸函数$
$简单说就是线性组合的函数值\le 函数值的线性组合$

凸函数的性质

• $f(x)=c^Tx(线性函数是凸函数)$
• $f(x)=||x||,范数是凸函数$
• $f(x)=x^TAx,A对称正定,是凸函数$

凸函数的判定

• $f(x)是凸函数的充要条件是对任意额x,y\in R^n,一元函数\phi(\alpha)=f(x+\alpha y)是关于\alpha 的凸函数$
• $D非空开凸集,f(x)在D上一阶连续可微,则f(x)在D上为凸函数的充要条件是$

$$f(y)\ge f(x)+\nabla f(x)^T(y-x),\forall x,y\in D$$

• $设D非空开凸集，f(x)在D上二阶连续可微，则f(x)是凸函数的充要条件是:f(x)的Hesse矩阵\nabla^2f(x)在D上是半正定的$

3.无约束最优化方法

普通函数局部解判断条件

一阶必要条件

$设f(x)一阶连续可微,x^*是一个局部最优解, 则 \Rightarrow$

$$\nabla f(x^*)=0$$

二阶必要条件

$设f(x)二阶连续可微,x^*是一个局部最优解, 则\Rightarrow$

$$\nabla f(x^*)=0,且\nabla^2f(x^*)为半正定$$

二阶充分条件

$设f(x)二阶连续可微,且$

$$\nabla f(x^*)=0,\nabla^2f(x^*)为正定$$

$\Rightarrow x^*是无约束问题的一个严格局部最优解$

凸函数最优解的判断条件

充要条件

$f为凸函数，f(x)一阶连续可微,则x^*是全局最优解的充要条件是$

$$\nabla f(x^*)=0$$