摘要：
1. 牛顿法 1.1 梯度下降法的缺点 对于无约束优化问题： \[\min_{x \in \mathbb{R}^n} f(x) \]使用梯度下降法进行迭代： \[x^{k + 1} = x^k - \alpha_k \nabla f(x^k) \]梯度下降的基本策略式沿着一阶导数的反方向（即最速下降 阅读全文
摘要：
1. 梯度下降法 无约束最优化问题一般可以概括为： \[\min_{x \in \mathbb{R}^n}f(x) \]通过不断迭代到达最优点 \(x^*\)，迭代过程为： \[x^{k + 1} = x^k + \alpha_k d^k \]其中 \(d^k\) 为当前的 搜索方向，\(\alph 阅读全文
摘要：
1. 线搜索方法 1.1 无约束优化问题求解 无约束优化问题求解的基本方法是迭代算法，通过逐步逼近的方法来逼近精确解。 假设精确解所在的点为 \(x^*\)，初始点为 \(x_0\)，通过不断迭代 \(x^1, x^2, ... x^k\) 使得 \(x \rightarrow x^*\)。 一般的 阅读全文
摘要：
1. 凸集 1.1 凸集的几何定义 在 \(\mathbb{R}^n\) 空间中，经过两个不同的点 \(x_1\) 和 \(x_2\) 可以确定一条直线，方程如下： \[y = \theta x_1 + (1 - \theta)x_2, \; \theta \in \mathbb{R} \]特别地： 阅读全文