最优化问题与预备知识

最优化问题与预备知识

最优化问题数学模型

一般模型：

\[opt f(\vec{x})=f(x_1,x_2,\dots ,x_n){\quad}(\,min f(\vec{x}){\quad}or{\quad}max(f(\vec{x})\,),\quad (1) \]

\[s.t. \begin{cases} S_i(\vec{x})\geq 0 \quad (2)\\ h_j(\vec{x})= 0 \quad (3)\end{cases} \]

• \(\vec{x}=[x_1,x_2,\dots,x_n]^T\)
• \(S_i(\vec{x})\)，\(h_j(\vec{x})\)称为约束函数
• 满足约束函数(2),(3)的点称为容许解或容许点（可行解），容许解的全体称为容许域，记为\(D\, or\, R\)
• 满足(1)的容许点称为最优点或最优解，记为\(\vec{x}^*\);\(f(\vec{x}^*)\)为最优值

最优化问题分类

\[最优化问题 \begin{cases} 静态规划 \begin{cases} 无约束问题 \begin{cases} 一维问题\\ n维问题\end{cases}\\ 约束问题\begin{cases} 线性规划\\ 非线性规划\end{cases}\end{cases} \\ 动态规划 \end{cases}\]

二维问题图解法

• 1.由全部约束条件作图，画出容许域\(D\):凸多边形OABC
• 2.作出一条目标函数等值线，并确定在容许域内，该等值线向哪个方向平移可使z值增大或减小
• 3.平移目标函数等值线，作图求最优点

结论

• 线性规划问题的容许域为凸集，特殊情况下为无界域或空集。
• 线性规划问题若有最优解，一定可在其容许域顶点（凸多边形顶点）上得到。

预备知识

• 方阵\(A\)为正（负）定矩阵 <=> \(A\)的特征值均为正（负）<=> \(A\)的各阶顺序主子式均为正（奇数阶为负，偶数阶为正）

• 几种特殊函数梯度公式
  （1）\(\nabla{(C)} = \vec{0}\)
  （2）\(\nabla{(\vec{b}^T \vec{x}})=\vec{b}\)
  （3）\(\nabla{(\vec{x}^T \vec{x})}=2 \vec{x}\)
  （4）若Q是对称方阵，则\(\nabla{(\vec{x}^T Q \vec{x})}=2Q\vec{x}\)
  （5）\(\nabla{A\vec{x}}=A^T\)
  （6）设\(\phi(t)=f(\vec{x_0+t\vec{p}})\),则\({\phi}^{'}(t)=\nabla{f(\vec{x_0}+t\vec{p})}^T\vec{p}\);\({\phi}^{''}(t)=\vec{p}^T\nabla{f(\vec{x_0}+t\vec{p})}^2\vec{p}\)

• 泰勒公式：

  • 存在一阶连续偏导：
  \[f(\vec{x}+\vec{p})=f(\vec{x})+\nabla{f(\vec{\xi}^)}^T\vec{p} \]
  • 存在二阶连续偏导：
  \[f(\vec{x}+\vec{p})=f(\vec{x})+\nabla{f(\vec{x}^)}^T\vec{p}+\frac{1}{2}\vec{p}^T \nabla^2{f(\vec{\xi})\vec{p}} \]

• 极值条件

  • 一阶必要条件：梯度为0
  • 二阶必要条件：Hess矩阵半正定
  • 二阶充分条件：梯度为0，Hess矩阵正定->严格局部极小点

• 凸函数上任一局部极小点为全局极小点

• 严格凸函数若存在极小点则必唯一

—————————最优化问题课程期末总结