1.3 - 优化理论

1.3.1 优化初步了解

 　　逐步逼近解析解的过程。在实际问题当中，很多都是没有完全正确的解析解的，但是可以有数值解。（在我们接受的误差范围内，足够接近解析解的近似值。）

 

1.3.2 优化理论 - 最小二乘法

　　即：最小平方误差法。例：测量一物体长度，多次测量得到不同测量值（数值解），如何最精确的确定物体的真实长度？     整体误差的二次方最小：求解 arg_y Min ∑（y_i - y)² 。

总结：假设有一个模型，模型有几个未知参数需要确认。现有一些实验样本数据，将样本数据带入模型得到预估值的表达式，与真实实验的实际值，做差的二次方整体最小。此时求解方程得到模型参数的解。我们认为，此时的模型最接近真实模型。

　　当模型的参数有很多个，最小化损失函数求解模型参数解析解的代价较大，可 梯度下降：最小误差函数中包含多个变量的时候，函数图像在多维坐标系下是一个超平面，当该超平面是 凸函数 的时候，可用梯度下降求解。求解过程： 自变量向量_new = 自变量向量_old - α.▽ 。（α为步长）

 

1.3.3 优化理论 -- 拉格朗日乘数法

　　当求解极值的函数有约束条件的时候，可将 条件极值 转化为 无条件极值函数求解。

　　无条件极值求解：取得极值的位置各项偏导为0或无导数。

 

1.3.4 优化理论 - 极大似然估计

　　极大似然：根据抽样实验结果，猜测原模型。

　　核心思想：当前出现的抽样实验结果之所以出现，就是因为这样的概率最大。

　　极大似然要求：给定观测结果的抽样样本是独立同分布的。即：样本符合同一概率模型且互相不受影响。（因为每次实验的概率是根据同一个概率公式计算的）

似然和概率的区别：一般说概率，是根据已知的实验条件和概率模型，去推测下一次实验的结果；而似然是已经知道了实验结果，去反推概率模型或实验条件。