最优化——无约束最优化方法(Unconstrained Optimization Algorithms)
作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/
本篇介绍最优化方法(运筹学)里面的无约束优化方法，包括：线搜索法、信赖域法、以及最小二乘法。更多优化问题，请看标签：优化问题 - 凯鲁嘎吉
1. 引言
包括：无约束优化方法分类、无约束非线性规划问题陈述与最优性条件。
2. 线搜索准则
2.1 Armijo准则
2.2 Goldstein准则
2.3 Wolfe准则
3. 梯度法与次梯度法
3.1 最速下降法(Steepest Descent Method)
3.2 Barzilar-Borwein方法
3.3 次梯度法(Subgradient Method)
4. 共轭梯度法
4.1 共轭方向法(Conjugate Direction Method)
4.2 共轭梯度法(Conjugate Gradient Methods)
5. 牛顿类法
5.1 经典牛顿法(Newton’s Method)
5.2 修正牛顿法(Modified Newton’s Method)
5.3 非精确牛顿法(Inexact Newton’s Method)
6. 拟牛顿类法
6.1 拟牛顿法(Quasi-Newton Methods)
6.2 秩一更新(SR1)
6.3 BFGS公式
6.4 DFP公式与Broyden算法族
7. 信赖域方法
7.1 信赖域方法(Trust-Region Algorithm)
7.2 信赖域子问题求解1——迭代法
7.3 信赖域子问题求解2——截断共轭梯度法(Truncated Conjugate Gradient)
8. 最小二乘法(Least-Squares Method)
8.1 最小二乘问题与线性最小二乘问题
8.2 非线性最小二乘问题(Gauss-Newton法与Marquardt修正算法)
9. 参考文献
-
***在筠, 等, 运筹学(第三版), 高等教育出版社, 2007. (引言, 最速下降法, 牛顿法)
-
马昌凤, 最优化方法及其Matlab程序设计, 科学出版社, 2010. (引言, 信赖域方法, 共轭梯度法)
-
陈宝林, 最优化理论与算法, 清华大学出版社, 2005. https://deitacloud.github.io/site/机器学习/. (直接法, 最小二乘法)
-
Jorge Nocedal, Stephen J. Wright, Numerical Optimization, Springer New York, NY, 2006. (部分插图, 共轭梯度法, 信赖域方法)
-
文再文, 最优化：建模、算法与理论/最优化计算方法, https://bicmr.pku.edu.cn/~wenzw/optbook.html (线搜索准则, 牛顿法与拟牛顿法, Barzilar-Borwein方法, 次梯度法, 信赖域方法)
-
Prof. L. Vandenberghe, ECE236C - Optimization Methods for Large-Scale Systems, 2022. http://www.seas.ucla.edu/~vandenbe/236C/ (次梯度法插图)
-
高立, 数值最优化方法, 北京大学出版社, 2014. (牛顿法插图)
