凸集,凸函数,无约束优化问题
Hesse矩阵和Jacobi矩阵
注意Hesse矩阵计算过程中目标变量是一元实值，自变量是向量，经过一阶导后变成目标变量为函数矩阵，自变量为向量函数，然后函数矩阵对向量求导，见书上定义 1.3.2
\[\nabla^2f(x)=\begin{pmatrix}
\frac{\partial^2f(x)}{\partial x_1^2} & \frac{\partial^2f(x)}{\partial x_1\partial x_2} & ... \\
...\\
\frac{\partial^2f(x)}{\partial x_n\partial x_1} & \frac{\partial^2f(x)}{\partial x_n\partial x_2} & ... \frac{\partial^2f(x)}{\partial x_n\partial x_n} \\
\end{pmatrix}\]
Jacobi矩阵计算过程中目标变量本身就是函数矩阵，自变量是向量,见书上定义 1.3.3
\(F(x)=(f_1(x),f_2(x),...,f_m(x))^T,x=(x_1,x_2,...,x_n)^T\)
\[F'(x)=\begin{pmatrix}
\frac{\partial f_1(x)}{\partial x_1} & \frac{\partial f_1(x)}{\partial x_2} & ... & \frac{\partial f_1(x)}{\partial x_n}\\
...\\
\frac{\partial f_m(x)}{\partial x_1} & \frac{\partial f_m(x)}{\partial x_2} & ... & \frac{\partial f_m(x)}{\partial x_n} \\
\end{pmatrix}\]
1.凸集
凸集的定义
\(设集合D\subset R^n,如果对任意的x,y\in D,与任意的\alpha \in [0,1],有\)
\[\alpha x+(1-\alpha)y \in D
\]
\(那么称集合D是凸集\)
\(简单说凸集就是：若两个点属于此集合，则这两个点连线上的任意一点均属于此集合\)
凸集的性质
\(设D_1,D_2\subset R^n是凸集,\alpha\in R,则\)
- \(D_1\cap D_2=\{x|x\in D_1,x\in D_2\}是凸集\)
- \(\alpha D_1 = \{\alpha x| x\in D_1\} 是凸集\)
- \(D_1+D_2=\{x+y|x\in D_1,y\in D_2\}是凸集\)
- \(D_1-D_2=\{x-y|x\in D_1,y\in D_2\}是凸集\)
凸集的判定
- \(充要条件:对任意m\ge 2,任给x_1,...,x_m\in D和实数\alpha_1,...,\alpha_m,且\alpha_i\ge0,i=1,2...,m,\sum\limits_{i=1}^{m}\alpha =1,均有\)
\[\alpha_1x_1 + ...+ \alpha_mx_m \in D
\]
2.凸函数
凸函数的定义
\(设D是非空凸集,f是定义在D上的函数,如果对任意的x_1,x_2\in D,\alpha\in (0,1),均有\)
\[f(\alpha x_1+(1-\alpha)x^2) \le \alpha f(x_1)+(1-\alpha)f(x_2)
\]
\(则称f为D上的凸函数\)
\(简单说就是线性组合的函数值\le 函数值的线性组合\)
凸函数的性质
- \(f(x)=c^Tx(线性函数是凸函数)\)
- \(f(x)=||x||,范数是凸函数\)
- \(f(x)=x^TAx,A对称正定,是凸函数\)
凸函数的判定
- \(f(x)是凸函数的充要条件是对任意额x,y\in R^n,一元函数\phi(\alpha)=f(x+\alpha y)是关于\alpha 的凸函数\)
- \(D非空开凸集,f(x)在D上一阶连续可微,则f(x)在D上为凸函数的充要条件是\)
\[f(y)\ge f(x)+\nabla f(x)^T(y-x),\forall x,y\in D
\]
- \(设D非空开凸集，f(x)在D上二阶连续可微，则f(x)是凸函数的充要条件是:f(x)的Hesse矩阵\nabla^2f(x)在D上是半正定的\)
3.无约束最优化方法
普通函数局部解判断条件
一阶必要条件
\(设f(x)一阶连续可微,x^*是一个局部最优解, 则 \Rightarrow\)
\[\nabla f(x^*)=0
\]
二阶必要条件
\(设f(x)二阶连续可微,x^*是一个局部最优解, 则\Rightarrow\)
\[\nabla f(x^*)=0,且\nabla^2f(x^*)为半正定
\]
二阶充分条件
\(设f(x)二阶连续可微,且\)
\[\nabla f(x^*)=0,\nabla^2f(x^*)为正定
\]
\(\Rightarrow x^*是无约束问题的一个严格局部最优解\)
凸函数最优解的判断条件
充要条件
\(f为凸函数，f(x)一阶连续可微,则x^*是全局最优解的充要条件是\)
\[\nabla f(x^*)=0
\]
