摘要：
1 拟牛顿法 牛顿法：$$x_{k+1} = x_k - \nabla^2 f(x_k)^{-1} \nabla f(x_k)$$ 牛顿法的缺陷在于 \(\nabla^2 f(x_k)\) 难以求取和存储，因此有拟牛顿法(Quasi-Newton methods)，通过在牛顿法的迭代中加入近似求取每 阅读全文
摘要：
1 梯度下降法 \(\qquad\) 梯度下降法又称最速下降法，是最优化方法中最基本的一种方法。所有的无约束最优化问题都是在求解如下的无约束优化问题：$$\min_{x \in R^n} f(x)$$ 将初始点\(x_0\)逐步迭代到最优解所在的点\(x^*\)，那么考虑搜索点迭代过程：$$x_{t 阅读全文
摘要：
欢迎来到我的友链小屋 阅读全文