摘要： 阅读本文之前，可先阅读博客。 1. 原始问题 假设 $f(x),g_{i}(x),c_{j}(x)$ 是定义在 $R^{n}$ 上的连续可微函数，考虑约束最优化问题： $$\min_{x} \; f(x) \\s.t. \;\;\; g_{i}(x) \leq 0, \;\;\; i = 1,2,\ 阅读全文

摘要： 阅读本篇之前，可先阅读一下梯度下降法。下面介绍一下牛顿法的基本思路。记原始的函数为 $F(x)$，它对应的二阶泰勒展开式为 $f(x)$ 将目标函数 $F(x)$ 进行二阶泰勒展开(如果不了解这个可先阅读博客)得： $$f(x) = f(x_{0}) + \nabla f(x_{0})^{T}(x 阅读全文