摘要：
1. 拉格朗日乘子法 拉格朗日乘子法 是一种 将约束优化问题 转化 为 无约束优化问题 的方法。其核心思想就是通过 拉格朗日乘子 将 含有 \(n\) 个变量和 \(m\) 个约束条件的带约束优化问题转换为含有 \(n + m\) 个变量的无约束优化问题。 对于如下约束优化问题： \[\begin{ 阅读全文
摘要：
1. 共轭方向 设 \(A \in \mathbb{R}^{n \times n}\) 为 对称阵，\(p, q \in \mathbb{R}^{n \times 1}\) 为 n元列向量。如果: \[p^T A q = 0 \]则称 \(p\) 和 \(q\) 关于 \(A\) 共轭。 特别地，若 阅读全文
摘要：
1. 拟牛顿法 1.1 回顾牛顿法 牛顿法（经典牛顿法）的迭代表达式： \[x^{k + 1} = x^k - \nabla^2 f(x^k)^{-1} \nabla f(x^k) \]但是，牛顿法过程中 \(\text{Hessian}\) 矩阵 \(\nabla^2 f(x^k)\) 的计算和存 阅读全文