最优化：建模、算法与理论
1. 基础知识
1. 导数
2. 自动微分：
3. 适当函数：
至少有一处取值不为正无穷，以及处处取值不为负无穷。
对最优化问题，适当函数可以帮助去掉一些我们不感兴趣的函数。
4. 共轭函数：
从几何上看，意味着对于每一个y，共轭函数是在求\(y^{T}x - f(x)\)在所有x上的最大值。
xy的曲率由y决定，当曲线斜率与直线斜率相同处的x，能够取得最大值
性质：
- 共轭的共轭是原函数
- 共轭函数是一个凸函数，即使原函数不是凸函数
- \(f(x) + f^{*}(y) >= x^{T}y\)
5. 次梯度
2. 最优化理论
1. 拉格朗日乘子法
1.1 只有等式约束：
1.2 只有不等式约束：
\(\min_{x \in R^n} f(x)\)
\(s.t. g_j (x) <= 0, j = 1,2,3...\)
- 最优解在约束范围内：
最优解位于约束内，加不加约束对解没有影响
- 最优解在约束范围外：
最优解在约束范围外，最优解必然位于约束面的边缘上，和等式约束一样
2. KKT
拉格朗日乘子法是仅仅针对等式约束优化问题的，如果扩展到带不等式约束的优化问题，这时就需要将其转换为对偶问题处理，并用KKT条件保证解的等价性
KKT条件：
3. 对偶问题
-
弱对偶关系：
原问题的解一定大于等于对偶问题的解
设原问题的解为P，对偶问题的解为Q，弱对偶关系P >= Q 一定成立 -
强对偶关系：
原问题的解等于对偶问题的解 -
强对偶关系的充分条件：Slater条件
-
强对偶关系的必要条件：KKT条件
