最优化方法课程总结二 --- 优化问题求解概述

本篇是对自己学习《最优化方法》的一些脉络、思路的记载，夹杂自己的一点点思考。

之前讲到求函数的局部最优，凸函数则为全局最优的基本判别条件（参见之前的最优化方法课程总结一）。知道基本原理后，自然要实际操作计算。本篇主要是对解决思路的概述和一些方法的介绍

优化问题的求解概述

一般求解方法有解析法、图解法与实验法、形式转化法、智能算法和数值迭代算法。自然解析法不一定能求出导来，图解法太过局限，形式转化法要转换成别的问题也具有其局限性，智能算法如遗传算法、蚁群算法、模拟退火算法、神经网络等属于随机搜索算法。数值迭代不受函数局限，又能结合数学原理，加上计算机，也比较受欢迎。具体分类可见下图：

数值迭代方法评价指标选取

在进行方法选择的时候，不可避免需要对算法进行评价。数值迭代方法常用的评价指标有：全局收敛与局部收敛、收敛速度与二次终止性、稳定性、计算复杂性与存储消耗、数值效果。
全局收敛是算法初始点可以随机选取，总能到达最优点附近。局部收敛是算法初始点只能选取接近解集合的点。
收敛速率有Q收敛和R收敛的概念：Q收敛是点列收敛到最优值点差值的比值。R收敛是被等比级数（扩展后可以不同）控制的收敛。Q收敛强于R收敛具体参见 Quotient 和root
二次终止性是算法对严格的图二次函数从任意初始点出发都能经过有限步迭代达到其极小值点。
算法复杂性老生常谈，在此不做解释。

线搜索方法简述

线搜索，顾名思义在一条线上进行寻找。即在指定方向上走指定步长。
下降方向：函数值会减少，注意下降最快的方向是负梯度方向。下降方向\(d\)只要满足与梯度方向夹角为负即可（原因看泰勒公式）
行走步长：在方向上找即可，将函数转化为步长的函数求导一系列跟上。分类和改进见下图，在此不做详细介绍。有兴趣可自行查询。