摘要:
1 拟牛顿法 牛顿法:$$x_{k+1} = x_k - \nabla^2 f(x_k)^{-1} \nabla f(x_k)$$ 牛顿法的缺陷在于 \(\nabla^2 f(x_k)\) 难以求取和存储,因此有拟牛顿法(Quasi-Newton methods),通过在牛顿法的迭代中加入近似求取每 阅读全文
摘要:
1 梯度下降法 \(\qquad\) 梯度下降法又称最速下降法,是最优化方法中最基本的一种方法。所有的无约束最优化问题都是在求解如下的无约束优化问题:$$\min_{x \in R^n} f(x)$$ 将初始点\(x_0\)逐步迭代到最优解所在的点\(x^*\),那么考虑搜索点迭代过程:$$x_{t 阅读全文