01(b)无约束优化(准备知识)
1、解方程转化为优化问题
$n\left\{ \begin{aligned}& {{P}_{1}}(x)=0 \\ & {{P}_{2}}(x)=0 \\ & \text{ }\vdots \\& {{P}_{n}}(x)=0 \\\end{aligned} \right.\text{ }x=\left[ \begin{aligned} & {{x}_{1}} \\& {{x}_{2}} \\& \vdots \\& {{x}_{n}} \\\end{aligned} \right]\text{ (n个自变量}\text{)}$
这个方程组里面的每一个函数${{P}_{i}}(x)$都是光滑 (一般指至少存在一阶和二阶导数)的，其函数可能是线性的，也可能是非线性的。
把上述解方程的问题转化为，优化问题：
$\text{ }x=\left[ \begin{aligned}& {{x}_{1}} \\& {{x}_{2}} \\& \vdots \\& {{x}_{n}} \\\end{aligned} \right]\text{ }\left\{ \begin{aligned}& {{P}_{1}}(x)=0\text{ }\leftrightarrow \\& {{P}_{2}}(x)=0\text{ }\leftrightarrow \text{ } \\& \text{ }\vdots \\& {{P}_{n}}(x)=0\text{}\leftrightarrow \\\end{aligned} \right.\left. \begin{aligned}& {{P}_{1}}^{2}(x)=0 \\& {{P}_{2}}^{2}(x)=0 \\& \vdots \\& {{P}_{n}}^{2}(x)=0 \\\end{aligned} \right\}\text{ }\leftrightarrow \sum\limits_{i=1}^{n}{{{P}_{i}}^{2}(x)=0}$
这解法的好处：
- 即便方程没有解，也可以通过$\operatorname{minimize}\text{ }f(x)=\sum\limits_{i=1}^{n}{{{P}_{i}}^{2}(x)}$求得近似解；
- 在这里不要求方程组里面的函数${{P}_{i}}(x)$是多项式，可以是三角函数、指数函数等；
- 当方程组里面某个方程${{P}_{i}}(x)=0$比较重要时，可以通过加权值${{w}_{i}}$：(局部加权回归)
$\operatorname{minimize}\text{ }f(x)=\sum\limits_{i=1}^{n}{{{w}_{i}}{{P}_{i}}^{2}(x)}\text{ }{{\text{w}}_{i}}>0$
- 可以通过调整权值系数，让误差平分到每个方程上面。
2、在讨论无约束优化(Unconstrained Optimization)之前，先介绍几个基本符号：
- 梯度:gradient (vector)
$\nabla f=\left[ \begin{aligned}& \frac{\partial f}{\partial {{x}_{1}}} \\& \frac{\partial f}{\partial {{x}_{2}}} \\& \vdots \\& \frac{\partial f}{\partial {{x}_{n}}} \\\end{aligned} \right]$
- 海森矩阵: Hessian (matrix)
\[H(x)={{\nabla }^{2}}f(x)=\nabla ({{\nabla }^{T}}f(x))=\left[ \begin{matrix}\frac{{{\partial }^{2}}f}{\partial x_{1}^{2}} & \frac{{{\partial }^{2}}f}{\partial {{x}_{1}}\partial {{x}_{2}}} & \cdots & \frac{{{\partial }^{2}}f}{\partial {{x}_{1}}\partial {{x}_{n}}} \\\frac{{{\partial }^{2}}f}{\partial{{x}_{2}}\partial {{x}_{1}}} & \frac{{{\partial }^{2}}f}{\partial x_{2}^{2}} & \cdots & \frac{{{\partial }^{2}}f}{\partial {{x}_{2}}\partial {{x}_{n}}} \\\vdots & \vdots & \ddots & \vdots \\\frac{{{\partial }^{2}}f}{\partial {{x}_{n}}\partial {{x}_{1}}} & \frac{{{\partial }^{2}}f}{\partial{{x}_{n}}\partial {{x}_{2}}} & \cdots & \frac{{{\partial }^{2}}f}{\partial x_{n}^{2}} \\\end{matrix} \right]\]
对于多元函数的极值问题，按照前面讲的，有如下步骤：
1.找出一阶偏导数等于0的点——驻点(极大值点、极小值点、拐点)，即：
$\nabla f=0\text{ }\leftrightarrow \text{ }\left\{ \begin{aligned}& \frac{\partial f}{\partial {{x}_{1}}}=0 \\& \frac{\partial f}{\partial {{x}_{2}}}=0 \\& \vdots \\& \frac{\partial f}{\partial {{x}_{n}}}=0 \\\end{aligned} \right.\text{ }$
2.接着通过二阶偏导数判断其是否为极值点，是极大值还是极小值点；多元函数的二阶偏导数用Hessian matrix表示，将stepa中得到的驻点代入，Hessian matrix中与极值有如下关系：
数学基础知识补充：
- 实对称阵：的所有特征值都是实的；
- 正定阵：所有特征值都大于0的方阵；
- 半正定阵：所有特征值大于或等于0的方阵；
这里差一个证明，为什么Hessian矩阵的特征值大于0，该点为极小值？（下一部分中有说明）
