摘要：
对偶问题的意义在于无论原问题是凸还是非凸，对偶问题都是凸优化问题。通过将原问题转化为对偶问题，有将复杂问题简单化的可能性，并能够求得原问题的全局最优解。 一、线性规划中的对偶理论 1.1 对偶的三种形式 对称形式的对偶（只包含不等式约束） 原问题 $$ \begin{array}{ll} \min 阅读全文
摘要：
基本思想：通过构造惩罚函数将约束问题转化为无约束问题，进而用无约束最优化方法求解。主要分为内点法和外点法。 注意：罚函数法对目标函数的凹凸性没有要求，且结合启发式算法（如遗传算法、蚁群算法、禁忌搜索等）几乎可以求解任何问题。因为启发式算法无需目标函数的梯度等信息。 一、惩罚函数 约束优化问题 $$ 阅读全文
摘要：
拟牛顿法的基本思想是用不包含二阶导数的矩阵近似牛顿法中的 Hessian 矩阵的逆矩阵，从而避免计算二阶导。拟牛顿法具有二次终止性，且对于一般情形具有 n 步二级收敛速率。缺点是所需存储量较大。是求解无约束最优化问题最有效的一类方法。 一、拟牛顿条件 牛顿法的迭代公式为： $$ \boldsymbo 阅读全文
摘要：
最速下降法、牛顿法、共轭梯度法均为线搜索法，其一般策略是给定点 $\boldsymbol{x}^{(k)}$ 后，定义搜索方向 $\boldsymbol{d}^{(k)}$ ，并沿着该方向进行一维搜索。而信赖域法的搜索范围是一个以 $\boldsymbol{x}^{(k)}$ 为中心的球域（信赖域） 阅读全文
摘要：
三者都是基于导数的迭代优化方法，用于求解无约束优化问题。 代码：https://github.com/321hjd/ImageBed/tree/main/code/NumericalOptimization/derivative-basedOptimization 一、最速下降法 1.1 原理 基本 阅读全文
摘要：
一、定义和基本性质 1.1 定义 一个函数 $f:\mathbf{R}^n\rightarrow \mathbf{R}$ 是凸函数当且仅当 $\mathrm{dom};f$ 是凸集，且对于所有的 $x,y\in\mathrm{dom};f$ 和 $0\le\theta\le 1$，满足 $$ f\l 阅读全文
摘要：
1. 直线和线段 假设 $x_1\ne x_2$ 是 $\mathbf{R}^n$ 空间（n维欧氏空间）中的两个点，直线 $$ y=\theta x_1 + (1-\theta)x_2 $$ 是穿过 $x_1$ 和 $x_2$ 的直线，$\theta\in \mathbf{R}$ 。若满足 $\th 阅读全文